CC BY
125
ДИСКУССИОННАЯ ПЛОЩАДКА
Б01: 10.15838^/2015.1.37.15 УДК 001.891, ББК 72.4
© Третьякова О.В.
Развитие национального индекса цитирования как условие формирования системы оценки результатов
научной деятельности
Ольга Валентиновна ТРЕТЬЯКОВА
кандидат филологических наук, заведующий отделом, Федеральное государственное бюджетное учреждение науки Институт социально-экономического развития территорий Российской академии наук (160014, г. Вологда, ул. Горького, д. 56а, [email protected])
Аннотация. В наши дни управление ресурсами, выделяемыми на науку, напрямую зависит от наличия информации о состоянии научных исследований в стране и за рубежом. В связи с ростом количества научных исследований, получающих бюджетное финансирование, а также проводимых при поддержке различных фондов, особую актуальность приобретает проблема анализа и комплексной оценки их результатов, выбора наиболее перспективных тем исследования.
В настоящей работе обоснована необходимость развития национальной информационно-аналитической системы цитирования, которая должна стать частью системы оценки эффективности и результативности деятельности российских ученых и научных организаций. На основе анализа библиометрических показателей Российского индекса научного цитирования показана динамика публикационной активности научных организаций экономического профиля, подведомственных ФАНО России.
Полученные результаты доказывают, что научные организации наращивают свою публикационную активность в РИНЦ, повышают качество публикаций, их научную и практическую значимость, о чем свидетельствуют планомерно увеличивающиеся показатели цитируемости. Показатели проведенного наукометрического мониторинга свидетельствуют о том, что в совокупности с экспертной оценкой РИНЦ в перспективе может использоваться как инструмент оценки эффективности и результативности деятельности научных учреждений, как альтернатива международным базам, показатели которых сегодня официально используются в этих целях.
Ключевые слова: наукометрия, индекс цитирования, РИНЦ, система оценки результатов научной деятельности, публикационная активность.
Сегодня для принятия эффективных управленческих решений в сфере науки необходимо создание системы объективной оценки результатов научной деятельности, позволяющей сконцентрировать государственные средства на перспективных направлениях исследований, результаты которых востребованы обществом и экономикой страны.
Разработка наукометрических измерений и их сопоставление открывают новые грани оценки научной деятельности, дают возможность скорректировать ее направления и содержание, сравнить результаты исследований. Анализ цитирований позволяет выявить закономерности и определить вероятностные темпы развития науки, служит эффективным методом изучения коммуникации в профессиональном сообществе и дисциплинарной структурой науки.
Несмотря на то что различные аспекты применения библиометрических показателей для оценки результатов научной деятельности освещаются как зарубежными (E. Garfield [23, 24], M. Graber [24], J. Hirsch [25], R. Ketzler [28] и др.), так и отечественными исследователями (Б.И. Бедный [1], С.В. Бредихин [2], В.А. Варшавский [4, 5, 6], О.В. Кириллова [12], В.А. Маркусова [4, 13], О.В. Михайлов [14], В.В. Писляков [17] и др.), еще не установлены четкие критерии оценок, основанных на библиометриче-ских измерениях; сохраняется необходимость проведения ряда наукометрических исследований для определения источников информации и методов ее извлечения, а также для выявления задач, которые могут быть решены при наличии той или иной информации.
Цель настоящей работы состоит в том, чтобы обосновать необходимость развития национальной информационно-аналитической системы цитирования, которая должна стать частью системы оценки
эффективности и результативности деятельности российских ученых и научных организаций. Показатели проведенного мониторинга показателей публикационной активности научных организаций экономического профиля, подведомственных ФАНО России, свидетельствуют о том, что в РИНЦ накоплен определенный ресурс, который в перспективе может использоваться как инструмент оценки эффективности деятельности научных учреждений, как альтернатива международным базам, показатели которых сегодня официально используются в этих целях, хотя они не позволяют в полной мере оценить результаты научной деятельности российских научных организаций и отдельных ученых по причине их слабой представленности в глобальных индексах цитирования.
В настоящее время на страницах научных изданий и в СМИ развернулась дискуссия по поводу целесообразности применения наукометрических показателей в сфере регулирования деятельности ученых. Эксперты считают, что «в связи с реформированием РАН грядет аттестация академических институтов, и библиометрические показатели (количество публикаций, цити-руемость, импакт-фактор научных журналов, индекс Хирша) будут использоваться в качестве индикаторов эффективности деятельности научных коллективов» [7]. Как подчеркивает Л.Э. Миндели, переход ведущих стран мира к экономике, базирующейся на знаниях, открывает новые горизонты для наукометрических разработок и, по его мнению, «методический арсенал наукометрии выйдет за рамки собственно науки и найдет масштабное применение для мониторингового взаимодействия экономических и социальных субъектов в области знаний» [7].
Наряду с учеными, признающими роль библиометрических показателей как инструмента измерения значимости научных
результатов, многие эксперты подвергают сомнению оценку академической ценности результатов исследований, основанную на данных о цитировании, на том основании, что цитатные показатели представляют собой ограниченный и неполный взгляд на качество исследований1.
Среди исследователей, допускающих применение наукометрических методов к оценке результативности и эффективности науки, сложилось мнение о том, что при этом библиометрические показатели должны использоваться в качестве вспомогательных, только как дополнение к экспертной оценке2. Следует также отметить, что вслед за зарубежными учеными3 российские эксперты признают, что результативность или продуктивность труда ученых целесообразно оценивать посредством показателя удельных внутренних затрат на академическую или фундаментальную науку по паритету покупательной способности в расчете на одну статью [32].
Несмотря на то что эксперты еще не пришли к единому мнению по поводу использования показателей публикационной активности для оценки эффективности научной деятельности ученых и научных коллективов, наукометрические параметры используются как целевые ориентиры государственной научной политики. При этом за основу берутся данные зарубежных систем цитирования. Так, в целях дальнейшего совершенствования государственной политики в области образования и науки и подготовки квалифицированных специ-
1 См., например, работы Ф. Кемпбелла, П.А. Ло-уренса [Игра в "цыфирь", или Как теперь оценивают труд ученого: сборник статей о библиометрике. — М.: МЦНМО, 2011.].
2 Варшавский А.Е. Основные проблемы оценки результативности и эффективности деятельности научных организаций [Эл. рес.]. — Режим доступа: http://www.cemi. rssi.ru/news/cemi/index.php?ELEMENT_ID=7987
3 См., например: Leydesdorff L., Wagner C.S.
Macrolevel indicators ofthe relations between research funding and research output // Journal of Informetrics. — 2009. — Vol. 3. - No. 4. - P. 353-362.
алистов с учетом требований инновационной экономики Президент постановил Правительству РФ «обеспечить к 2015 году доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (WEB of Science), до 2,44 процента»4.
Приказом Министерства образования и науки Российской Федерации от 5 марта 2014 г. № 162 утверждены порядок предоставления научными организациями сведений о результатах их деятельности в целях мониторинга и состав этих сведений [15]. Состав сведений определяется 25 показателями, которые оценивают результаты деятельности научных организаций по четырем направлениям: результативность и востребованность научных исследований; развитие кадрового потенциала; интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки; ресурсное обеспечение деятельности научной организации.
Первая группа индикаторов для оценки результативности и востребованности научных исследований включает восемь показателей, три из которых являются библи-ометрическими. К ним относятся число и совокупная цитируемость публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования, а также совокупный импакт-фактор журналов, в которых опубликованы статьи организации. Следует отметить, что обязательно указывается число и совокупная цитируемость публикаций, индексируемых в базе данных Web of Science, в то время как данные по другим базам данных являются факультативными.
4 О мерах по реализации государственной политики в области образования и науки: указ Президента Российской Федерации от 7 мая 2012 г. №599 [Электронный ресурс] // Российская газета. — 2012. — 7 мая. — Режим доступа: http://www.rg.ru/2012/05/09/nauka-dok.html
К данным международных информационно-аналитических систем научного цитирования привязаны также два показателя, по которым оценивается степень интеграции учреждения в мировое научное пространство. Это число статей, подготовленных совместно с зарубежными организациями, и число научных конференций с международным участием. Здесь учитываются работы, опубликованные в журналах, индексируемых в
Web of Science и Scopus, а также научные конференции и симпозиумы, по которым изданы материалы, индексируемые в указанных международных информационно-аналитических системах научного цитирования.
В таблице 1 приводятся показатели оценки деятельности научных организаций, которые определяются по данным информационно-аналитических систем научного цитирования.
Результативность и востребованность научных исследований Число публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования: Учитываются все рецензируемые публикации за отчетный период (статьи, обзоры, тезисы докладов, материалы конференций)
а Web of Science В качестве дополнительной информации организация указывает строку поиска
б Scopus Указывается по желанию организации
в Российский индекс научного цитирования Указывается по желанию организации
г Google Scholar Указывается по желанию организации
д ERIH (European Reference Index for the Humanities) Указывается по желанию организации
е Специализированная информационно-аналитическая система Указывается по желанию организации в случае, если публикации индексируются в иной международной системе
Совокупная цитируемость публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования: Учитывается совокупная цитируемость публикаций организации
а Web of Science Показатель рассчитывается автоматически по опции Search
б Scopus Указывается по желанию организации
в Google Scholar Указывается по желанию организации
г Российский индекс научного цитирования Указывается по желанию организации
Совокупный импакт-фактор журналов, в которых опубликованы статьи организации Вычисляется по значениям импакт-факторов журналов, соответствующих году отчета
Интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки Число статей, подготовленных совместно с зарубежными организациями Учитываются работы, опубликованные в журналах, индексируемых в международных информационно-аналитических системах научного цитирования Web of Science и Scopus
Число научных конференций с международным участием, проведенных организацией Учитываются только научные конференции и симпозиумы, по которым изданы материалы, индексируемые в международных информационно-аналитических системах научного цитирования Web of Science и Scopus
Источник: Приказ Министерства образования и науки Российской Федерации от 5 марта 2014 г. № 162. Приложение 3 «Состав сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, представляемых в целях мониторинга и оценки» [Электронный ресурс]. -Режим доступа: http://www.rg.ru/2014/05/14/minobrnauki2-dok.html.
Таблица 1. Состав сведений о результатах деятельности научных организаций, рассчитывающихся по данным информационно-аналитических систем научного цитирования
Однако использование показателей глобальных индексов цитирования не дает объективной картины для оценки научной деятельности российских ученых, поскольку их публикации слабо представлены в международных базах (по данным на август 2013 года на долю российских ученых приходится 1,9% в общем числе публикаций в Scopus и 1,2% — в Web of Science) [12, с. 13]. Также следует отметить, что цитируемость российских авторов невысокая. Так, показатель влияния цитирования, который рассчитывается в InCites5 как среднее цитирование статей, выраженное в доле от среднего по миру (равно 1), только в последние годы приближается к значению 0,5, т.е. в два раза ниже среднего мирового индикатора. Зарубежные эксперты отмечают, что показатель влияния цитирования российских публикаций является одним из самых низких среди стран Восточной Европы, несмотря на общее мнение, что наука в России очень сильна6.
Таким образом, использование показателей глобальных информационно-аналитических систем научного цитирования для мониторинга и оценки результатов деятельности научных организаций в России, на наш взгляд, не позволяет сформировать объективное представление о публикационной активности российских ученых и научных коллективов.
Кроме того, по мнению ведущих ученых, «подмена национальной рефератив-но-библиографической базы иностранными системами цитирования ведет к ориентации российских ученых на научно-исследовательские работы, интересные
5 Аналитическая система компании Thomson Reuters, использующая в качестве источника информации данные индекса цитирования Web of Science. — Режим доступа: http://incites.isiknowledge.com/iplogin.action
6 См., например: Kozak M., Bornmann L., Leydesdorff L. How have the Eastern European countries of the former Warsaw Pact developed since 1990? A bibliometric study. Scientometrics. - 2015. - Vol. 102. - Iss. 2. - P. 1113.
в первую очередь зарубежному научному сообществу, у которого свои потребности в научной информации, очень часто не совпадающие с тем, что необходимо отечественной науке в силу исторически сложившихся реалий» [11, с. 11]. В результате этого происходит «потеря суверенитета российской науки в части выбора направлений исследований и отток за рубеж перспективных молодых ученых, которые переориентировались на иностранную научную тематику» [11, с. 11].
Таким образом, всё большую актуальность приобретает вопрос о создании национального индекса цитирования, который мог бы стать альтернативой зарубежным базам данных. Мировой опыт свидетельствует о том, что развитие национальных библиографических баз способствует повышению уровня национальных научных изданий, а также позволяет наиболее полно и достоверно подойти к оценке результативности научных коллективов на основе опубликованных ими трудов.
Созданные во многих странах национальные реферативные базы данных, такие как China Scientific and Technical Papers and Citations7 и Chinese Science Citation Database (Китай)8, Citation Database for Japanese Papers (Япония)9, Brazil's National Database of Research and Science Résumés (Бразилия), достигли значительных успехов в популяризации и демонстрации научных достижений своих государств.
7 База данных China Scientific and Technical Papers and Citations (CSTPC) создана Китайским институтом научной и технической информации. Тематическая направленность: прикладные науки [Y. Wu, 2004].
8 База данных Chinese Science Citation Database разработана Центром документации и информации Китайской академии наук. Тематическая направленность: фундаментальные науки [B. Jin, 1999].
9 База данных Citation Database for Japanese Papers
создана Национальным институтом информатики Японии. Индексирует только STM-издания, выходящие в Японии [М. Negishi, 2004].
Вопрос о создании объективной системы работы научных организаций не раз поднимался, в том числе и на самом высоком уровне. Так, на заседании Совета при Президенте РФ по науке и образованию в Гатчине (30 апреля 2013 года) В.В. Путин справедливо отметил, что «действующий инструмент оценки научных организаций и результатов их работы имеет, безусловно, определённые недостатки. Он не позволяет выделить настоящих лидеров в том или ином секторе исследований, а сама оценка результативности никак не увязана с финансированием научных организаций». Президент РФ подчеркнул, что существует необходимость выстроить «национальную систему объективной оценки работы научных организаций», которая, по его мнению, «позволит сконцентрировать государственные средства на тех направлениях, где мы можем сказать, действительно, веское новое слово, получить многообещающие результаты, востребованные нашим обществом и экономикой страны»10.
На наш взгляд, что частью такой системы может стать Российский индекс научного цитирования. Созданный в 2005 году на платформе Научной электронной библиотеки (НЭБ, eLibrary.ru), сегодня РИНЦ является мощной аналитической системой для оценки научной деятельности, в которой рассчитывается и постоянно обновляется ряд наукометрических показателей.
В основе национальной системы лежит библиографическая реферативная база данных, в которой аккумулировано более 7 миллионов публикаций российских авторов и информация о цитировании этих публикаций из более 4,5 тыс. российских журналов.
10 Выступление В.В. Путина на Заседании Совета по науке и образованию, Гатчина, 30 апреля 2013 года. — Режим доступа: http://www.kremlin.ru/news/18010
Помимо публикаций из научных журналов в РИНЦ включаются доклады на конференциях, монографии, учебные пособия, патенты, диссертации. База содержит сведения о выходных данных, авторах публикаций, местах их работы, ключевых словах и предметных областях, а также аннотации и пристатейные списки литературы. РИНЦ позволяет на основе объективных данных оценивать результативность исследовательской работы и детально исследовать статистику публикационной активности более 600 тысяч российских ученых и 11 тысяч научных организаций, относящихся ко всем отраслям знаний11.
Ранее нами уже была предпринята попытка представить общие подходы к оценке результативности научной деятельности организаций на основе статистических данных Российского индекса научного цитирования [20, 21]. Изучение накопленного в РИНЦ ресурса подтвердило важность наукометрических показателей для современного ученого в отдельности и научных коллективов в целом.
Мониторинг показателей публикационной активности осуществляется по группе академических институтов экономического профиля, подведомственных Федеральному агентству научных организаций, которые ранее входили в Секцию экономики ООН РАН. Анализ наукометрических индикаторов показал, что эти организации наращивают свою публикационную активность, повышают качество публикаций, их научную и практическую значимость, о чем свидетельствуют планомерно увеличивающиеся показатели цитируемости.
Полученные результаты позволяют нам сегодня говорить о том, что если в 2013 году имело место неактивное использование
11 Российский индекс научного цитирования // Научная электронная библиотека. — Режим доступа: http://elibrary.ru/projects/citation/cit_index.asp.
ресурсов РИНЦ в указанной референтной группе, то на начало 2015 года большинство институтов существенно увеличили свои показатели в этой базе данных.
Поскольку индикаторы в РИНЦ периодически обновляются не только по текущему году, но и по предыдущим периодам, чтобы оценить темпы роста публикационной активности институтов из указанной референтной группы, мы сравнили ряд показателей за пять лет.
Для обеспечения сопоставимости сравниваемых периодов в динамике использованы суммарные показатели двух последовательных пятилетий: 2008—2012 гг. (по данным РИНЦ на октябрь 2013 г.)12; 2009-2013 гг. (по данным РИНЦ на октябрь 2014 г.)13, т.е. в последующем периоде были исключены показатели базового года предшествующего пятилетия и добавлены показатели следующего года. Такой подход позволяет иметь равные временные отрезки, а также учитывать активизацию наполняемости данными.
Справочно даются показатели за последний пятилетний период, представленный в РИНЦ, т.е. за 2010-2014 гг. Эти данные не используются для сопоставления, так как они представлены в РИНЦ еще не в полном объеме. Эти данные выявляют дальнейшие тенденции развития и используются для ранжирования научных организаций.
Динамика показателей общего числа публикаций в РИНЦ, принадлежащих научным институтам экономического про-
12 Статистические данные за указанный период представлены в статье: Третьякова, О.В. Возможности и перспективы использования индексов цитирования в оценке результатов деятельности научного учреждения / О.В. Третьякова, Е.А. Кабакова // Экономические и социальные перемены: факты, тенденции, прогноз. — 2013. — №6 (30). — С.189-200.
13 Статистические данные за указанный период представлены в препринте: Третьякова, О.В. Индексы научного цитирования. Возможности и перспективы в
оценке результатов научной деятельности / О.В. Третьякова. — Вологда: ИСЭРТ РАН, 2014.
филя, подведомственным ФАНО России, представлена в таблице 2. Организации ранжированы по общему количеству публикаций за 2010—2014 гг.
Данные таблицы свидетельствуют о том, что в среднем по референтной группе темп роста числа публикаций за период 2009— 2013 гг. составил 125% по сравнению с предыдущим периодом 2008—2012 гг. Имеющиеся данные на 14.01.2015 также показывают рост числа публикаций за период 2010—2014 гг. по сравнению с предыдущим пятилетним периодом на 13%. Очевидно, что эти цифры еще несколько увеличатся на конец 2015 года.
В таблице 3 представлена динамика показателей общего числа цитирований в РИНЦ, принадлежащих научным институтам экономического профиля, подведомственным ФАНО России. Организации ранжированы по общему количеству цитирований за 2010—2014 гг.
Анализ цитирований позволяет сделать вывод о том, что все институты экономического профиля, подведомственные ФАНО России, существенно улучшили показатели цитирования за 2009—2013 гг. по отношению к предыдущему пятилетнему периоду. Средний темп роста по этому показателю в референтной группе за 2014 год составил 209%, т.е. общее количество цитирований увеличилось более чем в 2 раза.
Результаты исследования динамики значений индекса Хирша14 научных учреждений экономического профиля, подведомственных ФАНО России, свидетельствуют о том, что этот показатель у многих институтов существенно увеличился в течение 2014 года (табл. 4).
14 Индекс Хирша h получается, если n из общего количества (Np) статей сотрудников данного учреждения цитируется как минимум h раз каждая, в то время как оставшиеся (Np — h) статьи цитируются не более чем h раз каждая [Hirsch J.E., 2005].
Таблица 2. Динамика показателей общего числа публикаций за пятилетний период научных учреждений экономического профиля, подведомственных ФАНО России, в РИНЦ
Наименование учреждения Общее количество публикаций за 2008-2012 гг. (данные на октябрь 2013 г.) Общее количество публикаций за 2009-2013 гг. (данные на октябрь 2014 г.) Темп роста 2009-2013 гг. к 2008-2012 гг., % Общее количество публикаций за 2010-2014 гг. (данные на 14.01.2015) Ранговое место за период 2010-2014 гг. (данные на 14.01.2015)
Институт экономики РАН 1979 2182 110 2324 1
Институт экономики и организации промышленного производства СО РАН 1354 1744 128 1982 2
Институт экономики УрО РАН 1312 1449 110 1467 3
Центральный экономико-математический институт РАН 781 945 120 1459 4
Институт социально-экономического развития территорий РАН 716 922 150 1201 5
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН 644 1096 170 1170 6
Институт социально-экономических исследований Уфимского НЦ РАН 85 514 в 6 раз 714 7
Институт народнохозяйственного прогнозирования РАН 646 678 104 643 8
Институт проблем рынка РАН 188 406 216 464 9
Институт экономических исследований ДВО РАН 257 365 142 457 10
Институт социально-экономических исследований Дагестанского НЦ РАН 480 472 98 421 11
Институт аграрных проблем РАН 365 371 102 382 12
Институт социально-экономических проблем народонаселения РАН 352 372 106 360 13
Институт проблем региональной экономики РАН 287 284 99 359 14
Институт социально-экономических и гуманитарных исследований Южного НЦ РАН 116 185 159 242 15
Институт экономики Карельского НЦ РАН 128 163 127 178 16
Институт социально-экономических и энергетических проблем Севера Коми НЦ УрО РАН 126 163 129 171 17
Сочинский научно-исследовательский центр РАН 69 106 154 99 18
Санкт-Петербургский экономико-математический институт РАН 73 80 110 68 19
Итого 9958 12497 125 14161 -
Таблица 3. Динамика показателей общего числа цитирований за пятилетний период научных учреждений экономического профиля, подведомственных ФАНО России, в РИНЦ
Наименование учреждения Общее количество цитирований за 2008-2012 гг. (данные на октябрь 2013 г.) Общее количество цитирований за 2009-2013 гг. (данные на октябрь 2014 г.) Темп роста 2009-2013 гг. к 2008-2012 гг., % Общее количество цитирований за 2010-2014 гг. (данные на 14.01.2015) Ранговое место за период 2010-2014 гг. (данные на 14.01.2015)
Центральный экономико-математический институт РАН 2389 4536 190 10223 1
Институт экономики РАН 2655 5059 191 6400 2
Институт экономики и организации промышленного производства СО РАН 2138 5141 240 6137 3
Институт экономики УрО РАН 1448 2790 193 3856 4
Институт проблем рынка РАН 300 2504 в 8,4 раза 3519 5
Институт народнохозяйственного прогнозирования РАН 2032 2876 142 3092 6
Институт социально-экономического развития территорий РАН 677 1335 197 2027 7
Институт социально-экономических проблем народонаселения РАН 806 1283 159 1508 8
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН 197 861 в 4,4 раза 1116 9
Институт экономических исследований ДВО РАН 399 820 205 1075 10
Институт социально-экономических исследований Дагестанского НЦ РАН 108 352 326 676 11
Институт социально-экономических исследований Уфимского НЦ РАН 42 254 в 6 раз 385 12
Институт проблем региональной экономики РАН 149 225 151 379 13
Институт аграрных проблем РАН 135 228 169 314 14
Институт экономики Карельского НЦ РАН 62 156 252 273 15
Институт социально-экономических и энергетических проблем Севера Коми НЦ УрО РАН 100 169 169 249 16
Институт социально-экономических и гуманитарных исследований Южного НЦ РАН 15 103 в 6,9 раз 222 17
Санкт-Петербургский экономико-математический институт РАН 119 170 143 198 18
Сочинский научно-исследовательский центр РАН 70 90 129 112 19
Итого 13841 28952 209 41761 -
Таблица 4. Динамика значений индекса Хирша научных учреждений экономического профиля, подведомственных ФАНО России, в РИНЦ
Наименование учреждения ^индекс (данные на октябрь 2013 г.) h-индекс (данные на октябрь 2014 г.) Темп роста значения индекса Хирша в 2014 г. по сравнению с 2013 г. И-индекс (данные на 14.01.2015) Ранговое место (данные на 14.01.2015)
Центральный экономико-математический институт РАН 21 32 152 48 1
Институт проблем рынка РАН 10 34 340 35 2
Институт экономики РАН 23 29 126 32 3
Институт экономики и организации промышленного производства СО РАН 15 29 193 31 4
Институт народнохозяйственного прогнозирования РАН 22 27 123 28 5
Институт экономики УрО РАН 14 20 143 21 6-7
Институт социально-экономических проблем народонаселения РАН 16 20 125 21 6-7
Институт социально-экономического развития территорий РАН 12 13 108 14 8-9
Институт экономических исследований ДВО РАН 9 13 144 14 8-9
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН 7 11 157 12 10
Институт социально-экономических исследований Дагестанского НЦ РАН 4 9 225 10 11
Институт социально-экономических исследований Уфимского НЦ РАН 4 8 200 9 12-14
Институт аграрных проблем РАН 5 8 160 9 12-14
Институт социально-экономических и энергетических проблем Севера Коми НЦ УрО РАН 6 7 117 9 12-14
Институт экономики Карельского НЦ РАН 4 7 175 8 15-16
Институт проблем региональной экономики РАН 6 7 117 8 15-16
Санкт-Петербургский экономико-математический институт РАН 6 7 117 7 17-18
Институт социально-экономических и гуманитарных исследований Южного НЦ РАН 3 5 167 7 17-18
Сочинский научно-исследовательский центр РАН 4 5 125 5 19
Таким образом, анализ индикаторов публикационной активности академических институтов экономического профиля, подведомственных ФАНО России, показал, что в течение 2014 года показатели публикационной активности этих организаций в РИНЦ существенно увеличились. Значительный рост библиометрических показателей обусловлен тем, что научные институты максимально широко представили в РИНЦ результаты научной деятельности, что подтверждает возросший интерес к аналитическому ресурсу. Очевидно, что уже сегодня Российский индекс научного цитирования имеет все перспективы стать частью системы по оценке результатов работы научных организаций. В совокупности с квалифицированной экспертной оценкой, позволяющей учитывать специфику научной деятельности, наукометрические индикаторы, представленные в РИНЦ, на наш взгляд, могут составить объективное представление о результативности деятельности научных учреждений по различным референтным группам.
Следует, однако, отметить, что развитие русскоязычного ресурса, каковым является РИНЦ, требует дополнительных организационных и экономических мер.
Прежде всего, на государственном уровне необходимо принятие решения о закреплении за Российским индексом научного цитирования статуса национальной базы данных. Важно иметь в виду, что, если речь идет об оценке эффективности и результативности деятельности российских ученых и научных организаций, а также о ранжировании научных журналов на базе каких-либо наукометрических показателей, необходимо брать за основу данные национального индекса цитирования. Развитие отечественной реферативно-би-блиографической базы будет во многом
способствовать сохранению суверенитета российской науки, позволит руководствоваться в выборе приоритетов научного развития прежде всего национальными интересами.
В составе сведений о результатах деятельности научных организаций, представляемых в целях мониторинга и оценки в ФАНО России, целесообразно в качестве обязательного показателя оценки результативности и востребованности научных исследований указывать «число публикаций организации, индексируемых в РИНЦ». Количество публикаций, реферируемых в международных базах данных, на наш взгляд, не может использоваться как основной наукометрический показатель для оценки результатов работы российской научной организации, поскольку российские публикации слабо представлены в зарубежных базах данных и этот показатель не позволяет составить объективную картину публикационной активности научных учреждений.
Отдельно следует отметить, что формирование национального индекса цитирования должно быть организовано путем отбора периодических изданий и отдельных публикаций по строгим критериям, которые обеспечили бы качество представленных в базе материалов, что сделало бы их оценку по наукометрическим показателям более объективной.
В завершение следует подчеркнуть, что главной целью системы оценки результатов научной деятельности должен стать поиск путей содействия научным институтам, создание базы для принятия эффективных управленческих решений в сфере науки, что позволит повысить уровень российских научных изданий и добиться существенных результатов по всем направлениям научных исследований.
Литература
1. Бедный, Б.И. О показателях научного цитирования и их применении / Б.И. Бедный, Ю.М. Сорокин // Высшее образование в России. — 2012. — №3. — C.17-28.
2. Бредихин, С.В. Анализ цитирования в библиометрии / С.В. Бредихин, А.Ю. Кузнецов, Н.Г. Щербакова. — Новосибирск: ИВМиМГ СО РАН, НЭИКОН, 2013.
3. Варшавский, А.Е. Основные проблемы оценки результативности и эффективности деятельности научных организаций. Доклад на Экспертной сессии ФАНО России «Оценка эффективности деятельности научных организаций» [Электронный ресурс] / А.Е. Варшавский. — М., 2014. — Режим доступа: http:// www.cemi.rssi.ru/news/cemi/index.php?ELEMENT_ID=7987
4. Варшавский, А.Е. Методологические проблемы международного сравнительного анализа результатов научной деятельности / А.Е. Варшавский, В.А. Маркусова // Инновационная политика: Россия и Мир: 2002—2010 / под общ. ред. Н.И. Ивановой и В.В. Иванова; Российская академия наук. — М.: Наука, 2011. — С.407-441.
5. Варшавский, А.Е. Об адекватной оценке результативности научной деятельности / А.Е. Варшавский, В.В. Иванов, В.А. Маркусова // Вестник Российской академии наук. — 2011. — Т.81. — №7. — С.587-593.
6. Варшавский, А.Е. Проблемы науки и ее результативность / А.Е. Варшавский // Вопросы экономики. — 2011. - № 1. - С. 151-157.
7. Возовикова, Т. Аршином не измеришь. Ученые достойны фундаментальной оценки своего труда / Т. Возовикова // Поиск. - 2013. - №44.
8. Гарфилд, Ю. Можно ли выявлять и оценивать научные достижения и научную продуктивность? // Вестник АН СССР. - 1982. - №6. - С. 43.
9. Игра в "цыфирь", или Как теперь оценивают труд ученого: сборник статей о библиометрике. -М.: МЦНМО, 2011.
10. Кабакова, Е.А. Использование наукометрических показателей при оценке научной деятельности / Е.А. Кабакова // Вопросы территориального развития. - 2014. - № 8 (18). - Режим доступа: http:// vtr.isert-ran.ru/?module=Articles&action=view&aid=4203.
11. Каблов, Е.Н. Право на рейтинг. Как оценить интеллектуальный ресурс России? / Е.Н. Каблов // Поиск. -2013. - №45-46. - С. 11.
12. Кириллова, О.В. Редакционная подготовка научных журналов по международным стандартам: рекомендации эксперта БД Scopus / О.В. Кириллова. - М., 2013. - Ч. 1. - 90 с.
13. Маркусова, В.А. Библиометрические показатели российской науки и РАН (1997-2007) / В.А. Маркусова, В.В. Иванов, А.Е. Варшавский // Вестник РАН. - 2009. - Т. 79. - №7. - С. 483-491.
14. Михайлов, О.В. Критерии и параметры объективной оценки качества научной деятельности / О.В. Михайлов // Вестник Российской академии наук. - 2011. - Т. 81. - №7. - С. 622-625.
15. Об утверждении порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности и порядка подтверждения указанных сведений федеральными органами исполнительной власти в целях мониторинга, порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности в целях оценки, а также состава сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, предоставляемых в целях мониторинга и оценки Приказ Министерства образования и науки Российской Федерации от 5 марта 2014 года № 162 [Электронный ресурс] // Российская газета. - 2014. - 14 мая. - Режим доступа : http://www.rg.ru/2014/05/14/minobrnauki2-dok.html
16. О мерах по реализации государственной политики в области образования и науки: Указ Президента Российской Федерации от 7 мая 2012 г. №599 [Электронный ресурс] // Российская газета. - 2012. -7 мая. - Режим доступа: http://www.rg.ru/2012/05/09/nauka-dok.html
17. Писляков, В.В. Методы оценки научного знания по показателям цитирования / В.В. Писляков // Социологический журнал. - 2007. - №7. - С. 128-140.
18. Российский индекс научного цитирования // Научная электронная библиотека [Электронный ресурс]. -Режим доступа: http://elibrary.ru/projects/citation/cit_index.asp
19. Третьякова, О.В. Возможности и перспективы использования индексов цитирования в оценке результатов деятельности научного учреждения / О.В. Третьякова, Е.А. Кабакова // Экономические и социальные перемены: факты, тенденции, прогноз. — 2013. — №6 (30). — С.189-200.
20. Третьякова, О.В. Индексы научного цитирования. Возможности и перспективы в оценке результатов научной деятельности [Текст]: препринт / О.В. Третьякова. — Вологда: ИСЭРТ РАН, 2014. — 52 с.
21. Третьякова, О.В. Современные инструменты оценки научного потенциала территории: наукометрический подход / О.В. Третьякова // Проблемы развития территории. — 2014. —№ 4. — С. 7-16.
22. China Scientific and Technical Papers and Citations (CSTPC): History, impact and outlook / Y. Wu, Y. Pan, Y. Zhang, Z. Ma, J. Pang, H. Guo, B. Xu, Z. Yang // Scientometrics. - 2004. - Vol. 60. - Iss. 3. - P. 385-397.
23. Garfield, E. Citation indexes to science: a new dimension in documentation through association of ideas / Е. Garfield // Science. - 1955. - Vol. 122. - No. 3159. - P. 108-111.
24. Garfield, E. New Factors in the Evaluation of Scientific Literature Through Citation Indexing / E. Garfield, I. H. Sher // American Documentation. - 1963. - Vol. 14. - No. 3. - P. 195-201.
25. Graber, M. Publish or perish? The increasing importance of publications for prospective economics professors in Austria, Germany and Switzerland / M. Graber, A. Launov, K. Walde // German Economic Review. -2008. - 9(4). - P. 457-472.
26. Hirsch J.E. An index to quantify an individual's scientific research output // Proc. OftheNationalAcad. Sci. USA. - 2005. - V. 102. - No.46. - P. 16569-16572.
27. Jin, B. Chinese Science Citation Database: its construction and application / B. Jin, B. Wang // Scientometrics. -1999. - Vol. 45. - Iss. 2. - P. 325-332.
28. Ketzler, R. A citation-analysis of economic research institutes / R.Ketzler, K. Zimmermann // Scientometrics. -2013. - Vol. 95. - Iss. 3. - P.1095-1112. doi:10.1007/s11192-012-0850-2.
29. Kozak, M. How have the Eastern European countries of the former Warsaw Pact developed since 1990? A bibliometric study/ M. Kozak, L. Bornmann, L. Leydesdorff // Scientometrics. - 2015. - Vol. 102. - Iss. 2. -P. 1101-1117. doi: 10.1007/s11192-014-1439-8.
30. Leydesdorff, L. Macrolevel indicators of the relations between research funding and research output / L. Leydesdorff, C. S. Wagner // Journal of Informetrics. - 2009. - Vol. 3. - No. 4. - P. 353-362.
31. Liansheng, M. Document database construction in China in the 1990s: A review of developments / M. Liansheng // The Electronic Library. - 2000. - Vol. 18. - No. 3. - P. 210-215.
32. Markusova, V. Trends in Russian research output in post-soviet era / V. Markusova, M. Jansz, A. Libkind, I. Libkind , A. Varshavsky // Scientometrics. -2009- Vol. 2. - Iss. 279. - P. 249-260.
33. Negishi, M. Citation Database for Japanese Papers: A new bibliometric tool for Japanese academic Society / M. Negishi, Y. Sun, K. Shigi // Scientometrics. - 2004. - Vol. 60. - Iss. 3. - P. 333-351.
Tret'yakova O.V
Development of national citation index as a condition for the formation of a system to evaluate scientific research performance
Ol'ga Valentinovna Tret'yakova — Ph.D. in Philology, Department Head, Federal State Budgetary Institution of Science Institute of Socio-Economic Development of Territories of Russian Academy of Science (56A, Gorky Street, Vologda, 160014, Russian Federation, [email protected])
Abstract. Nowadays the management of resources allocated to science depends directly on the availability of information about the state of scientific research in the country and abroad. Due to the increasing number of research projects that receive public funding and that are carried out with the support from various funds, special importance is attached to the issue concerning the analysis and comprehensive evaluation of scientific research performance and the choice of the most promising research topics.
The article substantiates the necessity to develop a national information and analytical system of citation, which should become part of the system to assess the effectiveness and performance of Russian
scientists and scientific organizations. The author uses the analysis ofbibliometric indicators of the Russian Science Citation Index and shows the evolution ofpublication activity of organizations engaged in economic research and subordinate to the Federal Agency of Scientific Organizations of Russia.
The results demonstrate that scientific organizations increase their publication activity in the RSCI, improve the quality of publications and their scientific and practical significance, as evidenced by the steadily increasing citation rates. The indicators of a scientometric monitoring prove that in the future the RSCI along with expert assessment can be used as a tool to evaluate performance efficiency of scientific institutions; it can be viewed as an alternative to international databases that are officially used for this purpose at present.
Key words: scientometrics, citation index, RSCI, a system to evaluate scientific research performance, publication activity.
References
1. Bednyi B.I., Sorokin Yu.M. O pokazatelyakh nauchnogo tsitirovaniya i ikh primenenii [About Science Citation Indices and Their Application]. Vysshee obrazovanie v Rossii [Higher Education in Russia], 2012, no. 3, pp.17-28.
2. Bredikhin S.V., Kuznetsov A.Yu., Shcherbakova N.G. Analiz tsitirovaniya v bibliometrii [Citation Analysis in Bibliometrics]. Novosibirsk: IVMiMG SO RAN, NEIKON, 2013.
3. Varshavskii A.E. Osnovnye problemy otsenki rezul'tativnosti i effektivnosti deyatel'nosti nauchnykh organizatsii. Doklad na Ekspertnoi sessii FANO Rossii "Otsenka effektivnosti deyatel'nosti nauchnykh organizatsii" [Main Problems in Assessing the Effectiveness and Efficiency of Performance of Scientific Organizations. Report on the Expert Session of FANO of Russia "Assessment of Efficiency of Performance of Scientific Organizations"]. Moscow, 2014. Available at: http://www.cemi.rssi.ru/news/cemi/index.php?ELEMENT_ID=7987
4. Varshavskii A.E., Markusova V.A. Metodologicheskie problemy mezhdunarodnogo sravnitel'nogo analiza rezul'tatov nauchnoi deyatel'nosti [Methodological Issues in International Comparative Analysis of Scientific Research Performance]. Innovatsionnayapolitika: Rossiya i Mir: 2002—2010 [Innovation Policy: Russia and the World: 2002—2010]. Under general editorship of N.I. Ivanova and V.V. Ivanov. Moscow: Nauka, 2011. Pp. 407-441.
5. Varshavskii A.E., Ivanov V.V., Markusova V.A. Ob adekvatnoi otsenke rezul'tativnosti nauchnoi deyatel'nosti [About an Adequate Assessment of Scientific Research Performance]. VestnikRossiiskoi akademiinauk [Herald of the Russian Academy of Sciences], 2011, vol. 81, no. 7, pp. 587-593.
6. Varshavskii A.E. Problemy nauki i ee rezul'tativnost' [Problems of Science and Its Effectiveness]. Voprosy eko-nomiki [Issues of Economics], 2011, no. 1, pp. 151-157.
7. Vozovikova T. Arshinom ne izmerish'. Uchenye dostoiny fundamental'noi otsenki svoego truda [You Cannot Measure It by a Yardstick. Scientists Deserve Fundamental Assessment of Their Work]. Poisk [Search], 2013, no. 44.
8. Garfield E. Mozhno li vyyavlyat' i otsenivat' nauchnye dostizheniya i nauchnuyu produktivnost'? [Can We Identify and Evaluate Scientific Achievements and Scientific Performance]. Vestnik AN SSSR [Herald of the Academy of Sciences of the USSR], 1982, no. 6, pp. 43.
9. Igra v "tsyfir'", ili Kak teper' otsenivayut trud uchenogo: sbornik statei o bibliometrike [Playing with Numbers, or How the Work of a Scientist Is Now Evaluated: Collection of Articles on Bibliometrics]. Moscow: MTsNMO, 2011.
10. Kabakova E.A. Ispol'zovanie naukometricheskikh pokazatelei pri otsenke nauchnoi deyatel'nosti [The Use of Scientometric Indicators in Evaluation of Scientific Activity]. Voprosy territorial'nogo razvitiya [Territorial Development Issues], 2014, no. 8 (18). Available at: http://vtr.isert-ran.ru/?module=Articles&action= view&aid=4203.
11. Kablov E.N. Pravo na reiting. Kak otsenit' intellektual'nyi resurs Rossii? [The Right to Be Rated. How to Evaluate Russia's Intellectual Resources?]. Poisk [Search], 2013, no. 45-46, p. 11.
12. Kirillova O.V. Redaktsionnayapodgotovka nauchnykh zhurnalovpo mezhdunarodnym standartam: rekomendatsii eksperta BD Scopus [Editorial Preparation of Scientific Journals according to International Standards: Recommendations of a Scopus Database Expert]. Moscow, 2013. Part 1. 90 p.
13. Markusova V.A., Ivanov V.V., Varshavskii A.E. Bibliometricheskie pokazateli rossiiskoi nauki i RAN (1997—2007) [Bibliometric Indicators of Russian Science and the Russian Academy of Sciences (1997—2007)]. Vestnik RAN [Herald of the Russian Academy of Sciences], 2009, vol. 79, no. 7, pp. 483-491.
14. Mikhailov O.V. Kriterii i parametry ob»ektivnoi otsenki kachestva nauchnoi deyatel'nosti [The Criteria and Parameters for Objective Assessment of Research Performance]. Vestnik Rossiiskoi akademii nauk [Herald of the Russian Academy of Sciences], 2011, vol. 81, no. 7, pp. 622-625.
15. Ob utverzhdenii poryadka predostavleniya nauchnymi organizatsiyami, vypolnyayushchimi nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya, svedenii o rezul'tatakh ikh deyatel'nosti i poryadka podtverzhdeniya ukazannykh svedenii federal'nymi organami ispolnitel'noi vlasti v tselyakh monitoringa, poryadka predostavleniya nauchnymi organizatsiyami, vypolnyayushchimi nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya, svedenii o rezul'tatakh ikh deyatel'nosti v tselyakh otsenki, a takzhe sostava svedenii o rezul'tatakh deyatel'nosti nauchnykh organizatsii, vypolnyayushchikh nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya, predostavlyaemykh v tselyakh monitoringa i otsenki: Prikaz Ministerstva obrazovaniya i nauki Rossiiskoi Federatsii ot 5 marta 2014 goda № 162 [On Approval of the Procedure, according to Which the Scientific Organizations Carrying Out Scientific Research, Experimental Design and Technological Works of Civil Designation Are to Provide Information about Their Performance Results; and on the Approval of the Procedure of Confirmation of the Specified Information by the Federal Executive Authorities for the Purposes of Monitoring; On Approval of the Procedure, according to Which the Scientific Organizations Carrying Out Scientific Research, Experimental Design and Technological Works of Civil Designation Are to Provide Information about Their Performance Results for the Purposes of Evaluation; and Also on Approval of the Composition of Information about the Performance Results of Scientific Organizations Carrying Out Scientific Research, Experimental Design and Technological Works of Civil Designation provided for the Purposes of Monitoring and Evaluation: the Order of the Ministry of Education and Science of the Russian Federation of March 5, 2014 No. 162]. Rossiiskaya gazeta [Russian Newspaper], 2014, May 14. Available at: http://www.rg.ru/2014/05/14/minobrnauki2-dok.html
16. O merakh po realizatsii gosudarstvennoi politiki v oblasti obrazovaniya i nauki: Ukaz Prezidenta Rossiiskoi Federatsii ot 7 maya 2012 g. №599 [About the Measures to Implement State Policy in the Field of Education and Science: the Decree of the President of the Russian Federation of May 7, 2012 No. 599]. Rossiiskaya gazeta [Russian Newspaper], 2012, May 7. Available at: http://www.rg.ru/2012/05/09/nauka-dok.html
17. Pislyakov V.V. Metody otsenki nauchnogo znaniya po pokazatelyam tsitirovaniya [Methods of Assessment of Scientific Knowledge by Citation Indices]. Sotsiologicheskii zhurnal [Sociological Journal], 2007, no. 7, pp. 128-140.
18. Rossiiskii indeks nauchnogo tsitirovaniya [Russian Science Citation Index]. Nauchnaya elektronnaya biblioteka [Scientific Electronic Library]. Available at: http://elibrary.ru/projects/citation/cit_index.asp
19. Tret'yakova O.V., Kabakova E.A. Vozmozhnosti i perspektivy ispol'zovaniya indeksov tsitirovaniya v otsenke rezul'tatov deyatel'nosti nauchnogo uchrezhdeniya [Opportunities for and Prospects of Using Citation Indices in Evaluating the Performance of Research Institution]. Ekonomicheskie isotsial'nyeperemeny: fakty, tendentsii, prognoz [Economic and Social Changes: Facts, Trends, Forecast], 2013, no. 6 (30), pp.189-200.
20. Tret'yakova O.V. Indeksy nauchnogo tsitirovaniya. Vozmozhnosti i perspektivy v otsenke rezul'tatov nauchnoi deyatel'nosti:preprint [Science Citation Indices. Opportunities and Prospects in Evaluating Scientific Research Performance: Preprint]. Vologda: ISERT RAN, 2014. 52 p.
21. Tret'yakova O.V. Sovremennye instrumenty otsenki nauchnogo potentsiala territorii: naukometricheskii podkhod [Modern Assessment Tools of Territory's Scientific Potential: Scientometric Approach]. Problemy razvitiya territorii [Problems of Territory's Development], 2014, no. 4, pp. 7-16.
22. Wu Y., Pan Y., Zhang Y., Ma Z., Pang J., Guo H., Xu B., Yang Z. China Scientific and Technical Papers and Citations (CSTPC): History, Impact and Outlook. Scientometrics, 2004, vol. 60, no. 3, pp. 385-397.
23. Garfield E. Citation Indexes to Science: a New Dimension in Documentation through Association of Ideas. Science, 1955, vol. 122, no. 3159, pp. 108-111.
24. Garfield E., Sher I.H. New Factors in the Evaluation of Scientific Literature through Citation Indexing. American Documentation, 1963, vol. 14, no. 3, pp. 195-201.
25. Graber M.. Launov A., Walde K. Publish or Perish? The Increasing Importance of Publications for Prospective Economics Professors in Austria, Germany and Switzerland. German Economic Review, 2008, no. 9 (4), pp. 457-472.
26. Hirsch J.E. An Index to Quantify an Individual's Scientific Research Output. Proc. of the National Acad. Sci. USA, 2005, vol. 102, no. 46, pp.16569-16572.
27. Jin B., Wang B. Chinese Science Citation Database: Its Construction and Application. Scientometrics, 1999, vol. 45, no. 2, pp. 325-332.
28. Ketzler R., Zimmermann K. A Citation-Analysis of Economic Research Institutes. Scientometrics, 2013, vol. 95, no. 3, pp.1095-1112. doi:10.1007/s11192-012-0850-2.
29. Kozak M., Bornmann L., Leydesdorff L. How Have the Eastern European Countries of the Former Warsaw Pact Developed since 1990? A Bibliometric Study. Scientometrics, 2015, vol. 102, no. 2, pp. 1101-1117. doi: 10.1007/s11192-014-1439-8.
30. Leydesdorff L., Wagner C. S. Macrolevel Indicators of the rRlations between Research Funding and Research Output. Journal of Informetrics, 2009, vol. 3, no. 4, pp. 353-362.
31. Liansheng M. Document Database Construction in China in the 1990s: A Review of Developments. The Electronic Library, 2000, vol. 18, no. 3, pp. 210-215.
32. Markusova V., Jansz M., Libkind A., Libkind I. Varshavsky A. Trends in Russian Research Output in Post-Soviet Era. Scientometrics, 2009, vol. 2, no. 279, pp. 249-260.
33. Negishi M., Sun Y., Shigi K. Citation Database for Japanese Papers: A New Bibliometric Tool for Japanese Academic Society. Scientometrics, 2004, vol. 60, no. 3. pp. 333-351.
