CC BY
255
Наука о науке
ГРИГОРЬЕВА Елена Ивановна —
руководитель IT-центра Института социологии РАН.
117218, Россия, г. Москва, ул. Кржижановского, д. 24/35, корп. 5 shef@isras.ru
СИТДИКОВ Ильдар Мансурович —
сотрудник IT-центра Института социологии РАН ildar@isras.ru
РИНЦ - ИНДЕКС ЦИТИРОВАНИЯ, И НЕ ТОЛЬКО
THE RINC IS A CITATION INDEX AND MORE
В статье обсуждается РИНЦ как информационная система. Показано значение индексов цитирования для организации поиска информации. Авторы рассматривают основные библиометрические показатели: индекс Хирша, импакт-фактор журнала, рейтинг Science Index. Отмечается важность оценочных показателей.
Ключевые слова: РИНЦ, индекс цитирования, индекс Хирша, импакт-фактор
The article discusses the RINC as an information system; the importance of citation indices for the organization of information retrieval is shown. The authors consider the main bibliometric indicators, such as the Hirsch index, the journal impact factor, Science Index. The importance of evaluative indicators is discussed.
Keywords: RINC, citation index, Hirsch index, impact factor
TDT/TT—TTT, Scopus, Web of Science, зГ J: А Л Л_1.импакт-факгор, индекс Хирша... Все это стремительно ворвалось в научную жизнь. Нельзя сказать, чтобы этого раньше не было, не то чтобы никто ничего не слышал про библиометрические показатели. Конечно, все это известно давно, но существовало «как бы где-то.», в общем, в стороне. А теперь получается, что это важно, что это нужно и без этого жить нельзя!.. Нужно знать, какой у меня «Хирш», каков импакт-фактор журнала, в какую систему цитирования он входит и т.д. и т.п.
Что это? Зачем это?
На самом деле в библиометрических показателях нет ничего плохого. Нет ничего страшного в том, чтобы автор знал, как часто его цитируют, насколько востребованы его материалы. Еще полезней оценка цитируемости конкретной публикации. Нет ничего зазорного и в том, чтобы авторов сравнивали друг с другом, и тем более чтобы журналы сравнивались между собой [Григорьева 2012]. Да и руководство научного коллектива вправе знать положение вещей, должно иметь инструменты для оценки деятельности сотрудников.
Наверное, у многих сейчас РИНЦ ассоциируется исключительно с показателями уровня цитирования и пресловутым индексом Хирша. Отчасти это верно, т.к. необходимые цифры берутся именно оттуда, из РИНЦа. Но мы предлагаем взглянуть на РИНЦ не как на «источник показателей», а, в первую очередь, как на большую и хорошо организованную информационную систему.
Итак, РИНЦ. Приведем несколько цифр. За прошедшие 8 лет (проект был создан в 2005 г.) Российский индекс научного цитирования собрал крупную базу публикаций и библиографических сведений. Цифры впечатляют: более 18 млн публикаций, более 140 млн пристатейных ссылок... Обратим внимание и на такую скромную по сравнению с названными цифру — 2 820. Таково число российских журналов, представленных полнотекстовыми вер-сиями1. Генеральный директор Научной электронной библиотеки (НЭБ), на базе которой существует РИНЦ, Г.О. Еременко отмечает, что раньше эти журналы могли вообще не иметь электронной версии или
1 Данные по состоянию на 30.01.2014. Текущее состояние см. на главной странице сайта eLibrary.ru
«были разбросаны по многочисленным сайтам издательств» [eLIBRARY.RU и РИНЦ 2014:151]. А РИНЦ собрал на одном сайте публикации почти из 3 000 научных журналов1, причем информация проверена (!) и структурирована и, что совсем немаловажно, снабжена мощным инструментом поиска информации. Обратим внимание и на то, что сам сайт РИНЦа eLibrary.ru имеет исключительно высокий рейтинг и в Yandex и в Google.
Показатели цитирования, о которых так много говорят сейчас, являются неотъемлемой частью информационной системы. Вспомним, как было в «доинтернет-эпоху» [eLIBRARY.RU и РИНЦ. 2014: 147]. Раньше шли в библиотеку, рылись в каталогах, подбирали литературу по своей теме, изучали текст, смотрели, на что сделаны ссылки, потом брали работы, на которые ссылались, и т. д. В итоге спустя какое-то время собиралось «ядро» публикаций по теме. В принципе, если вдуматься, то выбирались те работы, на которые было больше всего ссылок или, говоря современным языком, с самым большим индексом цитирования. Ничто не мешает использовать все описанное и сейчас, но кто может позволить себе потратить столько времени? Да и все мы больше привыкли к цифровым технологиям, а не к старым затертым карточкам.
Системы цитирования, например такие, как РИНЦ, проделывают за нас работу в библиотечном каталоге, они производят отбор публикаций по теме, поиск наиболее цитируемых работ и выдают готовый список «родоначальников» по любой проблематике. Подумаем, в каком порядке мы хотели бы видеть список работ, полученный в результате поискового запроса. Конечно, не по алфавиту, а по степени релевантности. Ну а если у большого числа работ релевантность одного порядка? Наверное, те, которые более востребованы, на которые больше всего ссылаются или, иными словами, на которые больше всего опираются в своих работах.
Вот и получилось, что создание индекса цитирования нужно в первую очередь для обеспечения поиска, а не для того, чтобы сравнивать ученых между собой.
Нельзя не сказать еще об одном очень важном обстоятельстве. В РИНЦе собира-
1 Имеются в виду метаданные, т.е. только список публикаций, не обязательно с полными текстами.
ются не только библиографические данные, но и полные тексты статей, номеров журналов, книг. Тем самым, абсолютно бесплатно предоставлено хранилище для размещения pdf-файлов — дополнительный резервный архив. И в случае какой-либо цифровой катастрофы можно будет воспользоваться им, чтобы восстановить утерянные тексты.
Однако в самом названии РИНЦ заложены слова «индекс цитирования», и не поговорить о злободневном — о рейтингах, импакт-факторах и прочих показателях — нельзя. Всего РИНЦ предоставляет около 50 различных метрик [Арефьев и др. 2012: 66].
Любые библиометрические показатели рассчитываются на каком-то массиве публикаций. Существует международные системы, такие как Web of Science или Scopus. А для российских публикаций таким базовым массивом являются публикации, собранные в РИНЦе. Традиционно индексы цитирования строятся на основании журнальных статей. В отличие от других систем цитирования, для РИНЦа не делался предварительный отбор журналов, не выбиралось ядро из 5—10—50 тыс. журналов, сюда принималось и принимается все. И сейчас РИНЦ содержит, как было отмечено, уже более 3,5 тыс. русскоязычных журналов.
Как автору выбрать из них те, которые наиболее востребованы читателями? Конечно, можно спросить у коллег, собрать несколько субъективных мнений и сделать свой вывод. А можно обратиться к библиометрическим данным и получить информацию оттуда. Приведем еще раз слова гендиректора НЭБа: «Цитирование как элемент навигации позволяет просмотреть историю развития, проследить тенденции» [Арефьев и др. 2012: 66].
Анализ публикационной активности журнала по годам за последние 5 лет, который представлен на сайте eLibrary.ru2, дает возможность оценить стабильность (или нестабильность) журнала. И возможность сравнивать библиометрические показатели разных журналов — выбрать тот, который больше цитируют. И не потому, что это кажется более престижным, а потому, что в таком журнале статью скорее увидят, скорее прочитают.
Основной библиометрический показа-
2 См. напр.: http://elibrary.ru/title_profile.
asp?id=9966
тель журнала — импакт-фактор. Он показывает среднее число цитирований статей, опубликованных в журнале за определенный период времени. Согласитесь, цифра интересная. Она говорит о том, насколько часто цитируют статьи из данного журнала. Пусть несколько грубая, но все же оценка со стороны читательской аудитории. Вряд ли автору все равно, увидит кто-то его статью или нет, не говоря уже
о том, чтобы ее еще и прочитали. Если импакт-фактор журнала близок к нулю, то либо он существует недавно, либо никому не нужен, либо принадлежит к такой узкой предметной области, в которой читателей в принципе очень мало.
Цитирование можно рассматривать как некую обратную связь читателя с автором. Если процитировали, значит прочитали или хотя бы просмотрели, хотя бы увидели, что такая работа есть. Обратное, конечно, неверно, нельзя утверждать, что если не процитировали, то и не читали. Могли прочитать, но не ссылаться. И причина скорее всего не в том, что материал неинтересен или не полезен. Нет. Такова культура цитирования. Сейчас на это стали обращать больше внимания, списки литературы стали длиннее, а подвалы на страницах статей забиты ссылками. Указывать источники нужно, но следует и знать меру. Вряд ли статья может на 40% состоять из указаний на источник заимствования.
Другое дело, правомерно ли сравнение цифровых (библиометрических, наукометрических) показателей у разных авторов, тем более у ученых в разных сферах деятельности? Правомерно ли сравнивать «физиков» с «лириками»? Насколько правомерно сравнение индекса Хирша у российских ученых и у, например, британских? Если у нас традиционно разная культура цитирования?
В качестве основного критерия оценки научного вклада ученого принят индекс Хирша. Что это такое? Строго формулировка звучит так: «Ученый имеет индекс к, если к из его Ир статей цитируются как минимум к раз каждая, в то время как оставшиеся (Ир — к) статей цитируются не более чем к раз каждая»1. Выглядит как-то сложно и запутанно, да и посчитать на пер-
1 Подробнее см. на сайте «Википедия. Свободная энциклопедия». Доступ: http://ru.wikipedia.org/wi Ы/%00%98%00%БО%00%Б4%00%Б5%00%БЛ %01%81_%00%Л5%00%Б8%01%80%01%88%0 0%Б0.
вый взгляд непросто. Попробуем немного разобраться. Допустим, у автора есть 100 статей, каждую процитировали 1 раз. Второй крайний случай. У автора 1 статья, и ее процитировали 100 раз. С точки зрения оценки публикационной активности и то и другое не очень хорошо. Первый пишет много, но мало кому интересен. А второй интересен, но пишет мало. Вот индекс Хирша и позволяет привести эти противоречия к единой оценке. В обоих случаях индекс Хирша будет равен единице, потому что в первом случае каждую статью процитировали не более одного раза, а во втором — потому, что статья одна.
Еще один пример расчета. Допустим, индекс Хирша равен 7. Это говорит о том, что 7 статей автора цитируются не менее 7 раз (может быть, какие-то работы цитируются и более 7 раз). Но не найдется 8 статей, которые процитировали бы 8 и более раз.
Чтобы вычислить индекс Хирша, можно выписать все работы автора, рассортировать в порядке убывания числа цитирований, пронумеровать список. Найти в нем строчку, в которой порядковый статьи совпадет с числом ее цитирований — это и будет индекс Хирша (для рассмотренного примера в 7-й строке стояло бы 7 цитирований). Но в реальной жизни автору не надо проводить такие расчеты, всю эту арифметику делает РИНЦ и выдает автору уже готовое рассчитанное значение индекса Хирша.
Можно сказать, что индекс Хирша является некоторой комплексной оценкой востребованности работ автора с той оговоркой, насколько вообще правильно использовать понятие «цитирование» для определения «востребованности». Он нужен, чтобы сравнивать, чтобы говорить: «вот у этого индекс Хирша больше или меньше». Но ни один индекс, ни один числовой показатель не в состоянии в полной мере оценить научный вклад.
Значит ли это, что и не надо цифровых показателей? Думается, нет.
Ведь и оценки в школе не всегда справедливы, однако их используют. «Оценки», поставленные ученым, нужны. Например, при выделении грантов важно оценить, сможет ли данный коллектив выполнить заявленную работу. Почему бы не использовать среди других средств, подчеркнем, «других», и оценку индекса Хирша коллек-
тива? Это нормально, если не сводить все только к цифрам. Сравнение показателей не может, не должно отменять традиционную работу экспертов. Библиометрические показатели заявителей — это инструмент для эксперта, и не более того. Тем более что на этой площадке к сожалению, тоже могут быть фальсификации и просто ошибки.
Наверно, и редакциям журналов и сборников хотелось бы знать, насколько популярен тот или иной автор. Никому не хочется публиковать слабые статьи. Хотя высокий индекс Хирша и не гарантирует, что данная статья очень хорошая, но свидетельствует с высокой степенью вероятности о большом потенциале автора: если автора много цитируют, наверно, он интересно пишет. Но и здесь, как и в случае грантов, информация об индексе цитирования не должна отменять механизм рецензирования, а просто служить дополнительной информацией об авторе. Ведь, согласитесь, что очень интересную, умную статью может написать и начинающий автор, у которого все индексы равны нулю. И если следовать логике тех, кто стремится оценивать все только на основе числовых показателей, такая статья вообще никогда не увидит свет.
На наш взгляд, важно, что РИНЦ не приводит все показатели к одному какому-то значению, не выстраивает всех в одну «очередь». РИНЦ определяет и публикует много разных показателей. Хотя индекс Хирша во всем мире признан основным критерием оценки автора, интерес могут представлять и такие показатели, как общее число статей, авторитетность журналов, в которых публикуется автор, число самоцитирований и т.д.
Скажем и о том, что РИНЦ активно взаимодействует с международными системами цитирования. Так, например, по соглашению с производителями Web of Knowledge в РИНЦ приводятся данные о числе цитирований конкретной статьи в Web of Science (конечно, если статья присутствует в этой базе) [Арефьев и др. 2012: 67].
В то же время мы не можем не согласиться с мнением А. Алейникова, который пишет, что «односторонний и несбалансированный перенос обсуждения российской проблематики на западные площадки ломает внутреннюю легитимацию режима» [Алейников 2014: 24].
Еще ярче необходимость нескольких, многих показателей можно показать на примере журналов. В требованиях ВАКа, предъявляемых к журналам, включаемых в список для опубликования основных результатов диссертаций1, учитывается двухлетний импакт-фактор журнала. Среди основных показателей журнала в РИНЦе есть и 2-летний и 5-летний импакт-фактор, с учетом и без учета самоцитиро-вания, и рейтинг Science Index. Обратим внимание на то, что импакт-фактор оценивается по общепринятым правилам, а рейтинг — на основе оригинальной методики, разработанной в РИНЦе.
Если не говорить о деталях2, то импакт-фактор рассчитывается как среднее значение цитирования каждой статьи в журнале. Существует отличие в расчете 2-летнего и 5-летнего фактора. Для 2-летнего необходимо, чтобы в РИНЦе были представлены все выпуски журнала за 3 года: за тот, по которому рассчитывается импакт-фактор и за 2 предыдущих3. А при расчете 5-летнего фактора берется не только больший период для анализа, но и допускается отсутствие некоторого числа выпусков.
Алгоритм расчета интегрального показателя (рейтинга Science Index) журнала значительно более сложен. Краткое описание занимает 3 страницы «убористым почерком». Отметим основные особенности.
Во-первых, вычисляется не среднее число цитирований на одну статью, а
1 См. Проект постановления на официальном сайте ВАК. Доступ: http://vak.ed.gov. ru/documents/10179/16176/%D0%9F%D1% 80%D0%BE%D0%B5%D0%BA%D1%82%20 %D0%BF%D1%80%D0%B8%D0%BA%D 0%B0%D0%B7%D0%B0%20%D0%BE%20 %D0%BF%D1%80%D0%B0%D0%B2%D0%B8-%D0%BB%D0%B0%D1%85%20%D1%84%D0%B E%D1%80%D0%BC%D0%B8%D1%80%D0%BE% D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%20 %D0%BF%D0%B5%D1%80%D0%B5%D1%87%D 0%BD%D1%8F%20%D1%80%D0%B5%D1%86% D0%B5%D0%BD%D0%B7%D0%B8%D1%80%D1 %83%D0%B5%D0%BC%D1%8B%D1%85%20%D 0%B6%D1%83%D1%80%D0%BD%D0%B0%D0 %BB%D0%BE%D0%B2/e5f5ba66-9061-4f50-a2cf-fea391328b6a?version=1.0 (проверено 03.03.2014).
2 Методика расчета публикуется на сайте РИНЦ. Импакт-фактор. Доступ: http://elibrary. ru/help_title_if.asp, рейтинг Science Index URL: http://elibrary.ru/help_title_rating.asp (проверено 03.03.2014).
3 2-летний импакт-фактор за 2013 г. рассчитывается исходя из числа цитирований в 2012 г. статей, опубликованных в 2010 и 2011 гг.
Таблица 1
Импакт-фактор Рейтинг Science Index
Рассчитывается на основе данных за 2 (5) лет1 Рассчитывается на основе данных за 5 лет2
Рассчитывается среднее число цитирований на одну статью (общее число цитирований делится на общее число статей за период) Учитывается совокупный объем цитирования
Учитывается «потенциал цитирования», т.е. разное число пристатейных ссылок в различных журналах
Учитывается авторитетность источника цитирования
Рассчитывается с учетом самоцитиро-вания и без него (2 разных показателя) Учитывается число самоцитирований для журнала. Чем меньше % самоцитирования, тем с большим весом учитываются ссылки, полученные из этого же журнала.
1 Например, определяется 5-летний импакт-фактор за 2012 г. Учитывается число ссылок, сделанных б 2012 г. на статьи, опубликованные б журнале б период с 2007 по 2011 г. включительно.
2 База для расчета выбирается аналогично 5-летнему импакт-фактору.
общее число цитирований. Тем самым, получается, что более крупные журналы имеют более высокий показатель. Выбирается 5-летний период. Например, для оценки рейтинга за 2012 г. выбирается число цитирований в 2012 г. статей, опубликованных в журнале с 2007 по 2011 г.
Во-вторых, оценивается «потенциал цитирования». Этот показатель учитывает то, что пристатейные списки литературы могут быть «большими» и «маленькими». Если в журнале большие пристатейные списки литературы, значит, он сможет процитировать большее число работ, значит, потенциал цитирования выше, а вес ссылки меньше.
В-третьих, учитывается авторитетность источника цитирования. Ссылки из более авторитетных журналов учитываются с большим весом (для определения авторитетности источника цитирования расчет производится в два прохода).
В-четвертых, с разным весом учитывается самоцитирование.
Мы дали очень приблизительное, грубое описание особенностей расчета рейтинга1, но по нему можно получить представление о методе расчета. Для наглядности, сведем в таблицу основные особенности расчета импакт-фактора и рейтинга Science Index (см. табл. 1).
1 Более точное описание приведено на сайте eLibrary.ru. Доступ: http://elibrary.ru/help_title_ rating.asp (проверено 03.03.2014).
Какой же показатель «правильный», какой лучше: импакт фактор? за 2 года или за 5? рейтинг Science Index? Хороши все или плохи все — все зависит от цели и от степени понимания того, что цифры — это хорошо, но не все решают числовые показатели. Импакт-фактор — традиционный, понятный критерий со своими известными преимуществами и известными проблемами, рейтинг Science Index — оригинальная разработка РИНЦа, достоинство которого — учет многих факторов. Надо использовать и то, и другое, и третье, надо анализировать и не надо зацикливаться на цифрах.
Для примера сообщим читателям журнала «Власть», что 2-летний импакт-фактор журнала составляет 0,3132, что позволяет журналу занимать 4-е место (по данному показателю) среди журналов по тематике «Политика. Политические науки». А по общему рейтингу Science Index журнал «Власть» занимает 1-е место3 в данной референтной группе и 54-е среди всех журналов в РИНЦе (это и математические, и физические, и биологические и другие журналы. Напомним, что всего в РИНЦе более 3,5 тыс. журналов).
И в заключение. По словам руководства
2 Данные приводятся на 2012 г. РИНЦ приводит такие, поскольку 2013 г. обработан еще не полностью.
3 См. в РИНЦе страницу «Показатели научных журналов». Доступ: http://elibrary.ru/titles_ сошраге^р/ (проверено 30.01.2014).
РИНЦа, в текущем году ожидается реализация совместного проекта НЭБ и Thomson Reuters по размещению в Web of Science
1 GGG лучших российских журналов. Отбор журналов будет осуществляться на основе
рейтинга журналов РИНЦ и, это крайне важно, с помощью экспертного отбора. Предполагается, что в качестве экспертов выступят ведущие ученые РАН и высшей школы.
Литература
Алейников А. В. 2014. Квадратура круга. — Власть, № 2. С. 23-27.
Арефьев П.Г., Еременко Г.О., Глухов В.А. 2012. Российский индекс научного цитирования — инструмент для анализа науки. — Библиосфера, № 5. С. 66-71.
Григорьева Е. И. 2012. О количественно-качественной оценке работы ученого. — История и современность, № 2. С. 183-188. Доступ: http://www.isras.ru/files/File/ Istoriya_i_sovremen/2012-2/Grigoreva.pdf eLIBRARY.RU и РИНЦ в информационной инфраструктуре российской науки: беседа с гендиректором НЭБ Геннадием Еременко. 2014. — Полис, № 1. С. 156-154.
Ґ ^
От редакции
Во втором номере журнала «Власть» за 2014 год по вине редакции была допущена техническая ошибка: научная статья В.В. Бокарева «Феномен «Битлз» в информационно-пропагандистской политике советского государства (1964—1970 гг.)» опубликована в рубрике «Эссе», а не в рубрике «Отечественный опыт», как это было запланировано. На стр. 193 следует читать «Источники и литература». Все необходимые исправления внесены в электронную версию второго номера журнала за 2014 год, размещенную на официальном сайте редакции. Приносим автору свои извинения.
