CC BY
45УДК [002:001.89]: 001.32(470)
ИНФОРМАТИКА: РЕЙТИНГ ЦИТИРУЕМОСТИ РОССИЙСКИХ
ученых по версии ринц
В.В. Арутюнов
Аннотация. В статье рассматриваются некоторые показатели эффективности научной деятельности ученых; анализируется цитируемость российских ученых на основе списка top-100 по информатике, предоставленного системой РИНЦ - Российского индекса научного цитирования.
ключевые слова: информатика, цитируемость, РИНЦ, индекс Хирша, эффективность научной работы.
Abstract. The article discusses some of the key performance indicators of scientific activity of scientists; analyzes the citation of Russian scientists on the basis of the list of the top-100 in computer science, provided by the system RSCI - Russian science citation index.
Keywords: computer science, citation, RSCI, Hirsch index, impact of scientific work.
Научно-технический потенциал организаций определяется итогами труда ее ученых и специалистов и, в первую очередь, результативностью их научно-технических разработок. Понятие «результативность» или «эффективность» включает различные, в определенной мере связанные между собой итоги исследовательской деятельности: новизну и значимость полученных результатов и их востребованность; степень влияния их на другие работы; уровень практической реализации результатов исследований; экономическую оценку результатов труда и т.д.
В российских вузах трудится значительное количество преподавателей, большинство из которых стремится использовать современные образовательные технологии, а с учетом того, что, кроме формирования будущих специалистов, они еще в той или иной мере выполняют различные научно-технические разработки, оценка эффективности их труда является весьма актуальной задачей.
Эффективность работы исследователя или коллектива ученых можно определять, используя наукометрические показатели их работы [1, с. 11] при анализе:
1. Итогов работы с использованием метода экспертных оценок [2; 3; 4].
2. Ежегодного количества публикаций по различным направлениям исследований [5; 6].
3. Цитируемости публикаций (в том числе с расчетом индекса Хирша, импакт-фактора, показателя отклика и др.); с учетом значительного числа работ в этой сфере в области геологии, химии и в других научных областях; отметим для примера лишь ряд публикаций [7; 8; 9; 10; 11; 12; 13].
4. Спроса на результаты исследований, отраженных в диссертациях и отчетах по научно-исследовательским и опытно-конструкторским работам [14].
Если первый - метод экспертных оценок - является, пожалуй, самым «древним» методом, на второй опираются при оценке научной деятельности уже много десятилетий, третий используется в различных сферах исследований (химии, медицине, геологии и в других научных областях) с 1970-х гг. прошлого века, то четвертый впервые начал активно использоваться в автоматизированном режиме для оценки эффективности деятельности ученых и организаций на примере геологоразведочной отрасли России с 1990-х гг.
Сущность методов экспертных оценок заключается в том, что в основу оценки результатов функционирования системы закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. При этом различают индивидуальные и коллективные экспертные оценки. Среди индивидуальных экспертных оценок наиболее широкое распространение получили методы интервью и аналитический.
Необходимо учитывать, что история сохранила много примеров, когда экспертные оценки крупнейших ученых оказывались ошибочными. Так, в 1950-х гг. большинство физиков считало невозможным использование лазеров, в 1930-х гг. ряд крупных ученых, в том числе Э. Резерфорд, иронически относились к идее практического использования атомной энергии, а лауреат Нобелевской премии физик Мил-ликен заявлял, что расщепление атома не может дать человечеству сколько-нибудь значительного количества энергии. По-видимому, эксперты чаще бывают правы, когда утверждают возможность чего-либо, чем когда ее отрицают.
Цитирование публикаций возможно исследовать с помощью двух групп показателей.
gib
К первой из них относятся различные средние показатели, характеризующие исследуемый объект (например, количество ссылок за год на исследователя).
Исследование этих средних показателей цитируемости за определенный период позволяет выявлять устойчивые тенденции в развитии тематических направлений в науке, вероятные темпы ее развития и «качественные прорывы».
Ко второй группе показателей, более тонко оценивающих цитирование публикаций, относятся: индекс Хирша If, импакт-фактор (показатель воздействия) I показатель отклика или оперативности цитирования I индекс Прайса и др.
С 1970-х гг. Институт научной информации (Institute for Scientific Information - ISI (США) занимался построением и анализом сетей цитирования, которые образуют публикации и ссылки на них в различных сферах науки. Результаты такого ежегодного анализа в ISI для определенной области знания служат важным условием для понимания механизмов эволюции исследовательских направлений в этой области, выявления взаимосвязей в системе научной коммуникации.
Сведения о цитировании могут использоваться для картографирования науки на основе метода коцитирования - основного метода алгоритмической классификации документальных массивов для выявления тематической организации науки.
Метод коцитирования основывается на принципе выделения взаимосвязи между двумя исследуемыми объектами (публикациями, авторами, журналами, организациями) с учетом цитирования их в одних и тех же работах, т.е. связь между объектами устанавливается на основе анализа их цитирования в последующих работах. В общем виде сила связи двух объектов определяется суммарным количеством ссылок на каждый объект. Указывая на важную роль ссылок на публикации в выявлении и анализе межнаучных коммуникаций, еще Д. Прайс образно отмечал: «Цитаты в научных работах образуют сеть, сложным образом связывающую их вместе. Образ этой сети вызывает представление о том, что научные работы складываются в страны и континенты, которые можно нанести на карту и которые обнаруживают возвышенности и непроходимые трясины».
Структурный анализ таких сетей позволяет судить о развитии того или иного научного направления, происходящих при этом процессах интеграции или дифференциации наук, о существовании научных школ и «незримых» коллективов ученых.
Как показали специальные исследования, хронологическое и географическое распределение интенсивности ссылок не хаотично. Ссылки объединяют научные работы в устойчивые группы, имеющие прочные внутренние связи. При этом около половины ссылок из всех научных работ, которые были опубликованы, приходятся на сравнительно недавно опубликованные работы, образующие «исследовательский фронт», а вторая половина образует менее тесные связи между остальными, ранее опубликованными работами.
Идея коцитирования, использованная для определения силы связи между публикациями, позволяет отследить возникновение и развитие новых исследовательских направлений. Результаты этих исследований публикаций находят свое отражение в специальных атласах и картах науки.
Так как в последнее время во всем мире активно используется для оценки работы ученых и научных коллективов индекс Хирша Ih , отметим, что исследователь имеет индекс Хирша Ih, если h из его Np статей цитируются как минимум h раз каждая, в то время как оставшиеся (Np - h) статьи цитируются не более, чем h раз каждая.
Так, если у данного исследователя опубликовано 100 статей, на каждую из которых имеется лишь одна ссылка, его индекс Хирша Ih равен 1. Таким же будет индекс Хирша исследователя, опубликовавшего одну статью, на которую сослались 100 раз. В то же время (более реалистический случай), если у исследователя имеется 1 статья с 9 цитированиями, 1статья с 8 цитированиями, 1 статья с 7 цитированиями, ...,
1 статья с 1 цитированием, то его индекс Хирша Ih = 5 (т.к. на 5 его статей сослались как минимум по 5 раз).
Показатель Хирша для оценки работы специалистов приводится в системах Web of Science (содержит три базы: индекс цитирования естественных наук - Science Citation Index - SCI, индекс цитирования социальных наук - Social Science Citation Index - SSCI, индекс цитирования в гуманитарных науках, литературе и искусстве - Arts and Humanities Citation Index - A&HCI), SCOPUS (крупнейшая в мире библиографическая и реферативная база данных, которая обновляется ежедневно), РИНЦ - национальная информационно-аналитическая система, включающая более
2 миллионов публикаций российских авторов, а также информацию о цитировании этих публикаций из более 4000 российских журналов; создана на базе Научной электронной библиотеки (www.elibrary.ru) и в ряде других.
<э1Ь
МФЮА
На рис. 1 приводится динамика распределения статей из российских журналов в РИНЦ по году выпуска.
Рис. 1. динамика распределения статей из российских журналов в РиНЦ по году выпуска
Некоторые страны, например, Китай и Япония, учитывая, в том числе языковые трудности для полного отражения трудов своих ученых в вышеуказанных системах, сформировали национальные системы цитирования (аналогичные РИНЦ).
Все эти системы предназначены не только для оперативного обеспечения научных исследований актуальной справочно-библиографической информацией, но являются также и мощным инструментом, позволяющим осуществлять оценку результативности и эффективности деятельности научно-исследовательских организаций, ученых, уровень научных журналов в научном сообществе и т.д.
Показатели четвертой подгруппы рассчитываются аналогично показателям третьей подгруппы; при этом вместо количества публикаций рассматривается количество отчетов по НИР, подготовленных исследователем, а вместочислассылокнапубликацию - количествозапросовнакопиюотчета. Так, например, импакт-фактор исследователя в этом случае определяется как
отношение числа запросов в рассматриваемом году на отчеты исследователя за два предыдущих года, ко всему количеству отчетов, подготовленных им за эти два года.
Анализ показателей этой подгруппы позволил для организаций геологоразведочной отрасли выявить: динамику востребованности геологической научно-технической продукции, отраженной в диссертациях и отчетах по НИР и ОКР; организации, на результаты работ которых в течение ряда лет отмечался повышенный спрос; около десятка приоритетных направлений геологических исследований, спрос на результаты по которым был значительным; несколько более 20 полезных ископаемых (из более 100, имеющихся на территории России), информация о которых представляла интерес для 1000 организаций и др. [14]. Эти результаты обеспечивали решение как минимум двух основных задач управления геологическими научно-техническими разработками: во-первых, они являлись необходимой основой для поддержки принятия управляющих решений с целью определения приоритетных направлений научно-технических разработок в геологоразведочной отрасли; во-вторых, информация о запра-шиваемости результатов исследований конкретной организации позволяет ей определить как уровень востребованности ее работ, так и перечень организаций-потребителей ее продукции - возможных потенциальных заказчиков научно-технических разработок.
Анализ сетей цитирования является удобным средством для картографирования науки, выявления «незримых» коллективов ученых, получения информации о том, на каком участке исследований в настоящее время концентрируются научные силы.
Основная проблема публикационной активности ученых и специалистов российских организаций - это проблема 4М: мало читают, мало пишут, мало цитируют и, отсюда, мало цитируются. При этом зачастую в российской публикации число ссылок далеко от 10 (в меньшую сторону), в зарубежной - практически всегда значительно более десятка.
К середине 2014 г. РИНЦ выпустил список top-100 российских ученых, работающих в области информатики, с указанием для каждого из них количества публикаций, индекса цитируемости Ic и индекса Хирша Ih.
Возглавляет этот список известный в России и в мире специалист в области информатики Гиляревский Р.С. (ВИНИТИ) с показателями I = 663 и Ih = 6. Наивысший индекс Хирша, равный 10, отмечается у Зябло-ва В.В. (Институт проблем передачи информации им. А.А. Харкевича РАН), при этом его индекс цитирования I = 509. Из списка top-100 так-
gib
же следует, что около 80% ученых работают в этой области в трех городах (64 - в Москве, 10 - в Новосибирске, 5 - в Санкт-Петербурге).
Следует отметить, что от 3 до 14 ученых (всего 41 из 100) работают в 8 организациях России; в числе последних - ВИНИТИ (14 человек), Институт проблем передачи информации им. А.А. Харкевича РАН и Библиотека по естественным наукам РАН (по 5 человек), Институт вычислительных технологий Сибирского отделения РАН, Институт проблем информатики РАН (по 4 человека), Вычислительный центр им. А.А. Дородницына РАН, Российская государственная библиотека, Военная академия связи им. С.М. Буденного - (по 3 человека); остальные 59 ученых работают примерно в 40 организациях (по 1 или 2 человека в организации). Отметим, что из приведенного РИНЦ списка top-100 целый ряд ученых являются членами докторских Диссертационных Советов, например: пятеро - Совета при ВИНИТИ, а шестеро - Совета при МГУКИ, что свидетельствует об определенной объективности показателей публикуемости и цитируемости относительно приводимых в этом списке ученых.
Следует отметить, что в то же время показатели, основанные на цитировании, могут быть проблемой для начинающих ученых, поскольку высокие показатели цитирования зависят как от времени, прошедшего с момента опубликования первой работы, так и от области исследования. В идеале Ih должен использоваться для сравнения ученых с одинаковым научным стажем и областями исследований, поскольку механизмы цитирования в различных областях исследований могут существенно различаться. В то же время по определению Ih основан на цитированиях, но он не отражает динамики цитирований. Например, если индекс содержит часто цитируемую статью, это не повлияет в дальнейшем на индекс, независимо от того, сколько дополнительных цитирований статья получит в ближайшие годы. Это означает, что ученому с ограниченным числом незаурядных статей трудно получить высокий I и, более того, Ih не может «отличить» новаторские научные статьи от обычных научных работ.
Принято считать, что значение индекса Хирша в определенной мере зависит от возраста ученого. По некоторым данным, в возрасте до 39 лет Ih обычно невысок, затем в период 40-50 лет его значение возрастает, а к 60-70 годам стабилизируется для действующего ученого.
Перед российским научным сообществом Указом Президента РФ от 7 мая 2012 г., №599 «О мерах по реализации государственной по-
литики в области образования и науки» была поставлена задача «увеличить к 2015 г. долю публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых «Web of Science», до 2,44%».
Следует отметить, что за 15-летний период (1996 - 2011гг.) доля российских публикаций в мире неуклонно снижалась: в 1996 г. она составляла 2,79%, в 2001 - 2,36% в 2006 - 1,8% (для сравнения доля США и Китая за вышеуказанный период равнялась соответственно 24 и 8,8%). При анализе данных за 2011 г. доля российских публикаций оказалась равной 1,67%, что сопоставимо с показателями таких стран, как, например, Нидерланды. Сохранение этой негативной тенденции вызывает определенные опасения в возможности выполнения указа президента без каких-либо существенных изменений в этой области.
В заключение следует отметить, что в последнее время в России вторая и третья подгруппы показателей активно используются, например, для ежегодной оценки эффективности работы в вузах России профессорско-преподавательского коллектива с учетом публикуемости, цитируемости и индивидуальных значений индекса Хирша (по данным РИНЦ); например, в Национальном исследовательском университете «Высшая школа экономики» (НИУ ВШЭ), Российском государственном гуманитарном университете, МФЮА и в целом ряде других вузов эта оценка проводится в том числе для последующего морального и материального поощрения лучших сотрудников, выполняющих научную работу.
ЛИТЕРАТУРА
1. Арутюнов В.В. Показатели эффективности эрготехнических систем // Научные и технические библиотеки. 2014. №7.
2. Орлов А.И. Экспертные оценки. Учебное пособие. - М., 2009.
3. Литвак Б.Г. Экспертные технологии в управлении. Учебное пособие. - М., 2007.
4. Рябушкин Т.В. Статистические методы анализа экспертных оценок. Учебное пособие. - М., 2008.
5. Канн С.К., Павлова Л.П., Дубовенко В.А. Методы оценки эффективности публикаторской деятельности ученых Новосибирска. В сб. «Оптимизация информационно-библиографического обслуживания ученых и специалистов», ГПНТБ СО РАН. - Новосибирск, 2000.
<£г>
МФЮА МОСКОВСКИЙ ФИНАНСОВО-ЮРИДИЧЕСКИЙ УНИВЕРСИТЕТ
6. Маркусова В.А., Либкнид А.Н., Крылова Е.Ф., Миндели Л.Е., Либкнид И.А. Показатели публикационной активности сотрудников институтов Российской академии наук и высшей школы России (20072011 гг.) // НТИ, сер. 1. 2014. №6.
7. Арутюнов В.В., Медведева И.Е. Цитирование научной литературы по геологии // НТИ, сер. 1. 1992. №9.
8. Васильчиков В., Глушановский А., Слащевский Н. Использование индекса научного цитирования в качестве характеристики научного труда // Информационные ресурсы России. 2003. №3.
9. Варшавский А.Е., Маркусова В.А. О результативности научной деятельности Российской академии наук (оценки на основе анализа количества научных публикаций и индекса цитирования) // Концепции. 2007. №1 (18).
10. Индекс цитирования для оценки результативности научной работы: методические рекомендации / Сост. М.Е. Стаценко, Г.Л. Снигур, О.Ю. Демидова, В.Н. Пароваева. - Волгоград, 2011.
11. Сидоренко Г.И. Об эффективности научной деятельности (оценка фундаментальных и прикладных исследований) // Наука и инновации. 2004. №5.
12. Маршакова И.В. Система цитирования научной литературы как средство слежения за развитием науки. - М., 1988.
13. Hirsch J.E. An index to quantify an individual's scientific research output // Proceeding of the National Academy of Sciences, v. 102, №46, 2005.
14. Арутюнов В.В., Константинов А.С. Рейтинговый анализ востребованной геологической научно-технической продукции на рубеже XX - XXI веков // НТИ, сер.1. 2006. №12.
В.В. Арутюнов,
д-р техн. наук, профессор,
Российский государственный гуманитарный университет E-mail: warut698@yandex.ru
