CC BY
39
некоторые наукометрические критерии оценки научной деятельности
Е.Е. Лукьянова
НИИ скорой помощи им. Н.В. Склифосовского ДЗ г. Москвы, Москва, Российская Федерация
SEVERAL SCIENTOMETRIC CRITERIA FOR EVALuATION OF SCIENTIFIC ACTIVITY E.E. Lukyanova
N.V. Sklifosovsky Research Institute for Emergency Medicine of Health Department of Moscow, Moscow, Russian Federation
РЕЗЮМЕ В статье представлены определения и область применения наиболее используемых в нашей
стране формальных критериев оценки результатов научной деятельности, в частности: импакт-фактор журнала, индекс цитирования, индекс Хирша.
Ключевые слова: наукометрия, библиометрия, импакт-фактор издания (ИМФ), индекс цитирования (ИЦ), индекс
Хирша (ИХ).
ABSTRACT
Keywords:
The most usable formal criteria for measuring the research impact in our country have been reviewed: impact factor of a publication (IMP), citation index (CI), h-index.
scientometrics, bibliometrics, impact factor of a publication (IMP), citation index (CI), h-index.
БД — базы данных
ИМФ — импакт-фактор издания
ИЦ — индекс цитирования ИХ — индекс Хирша
Наука, являясь особым видом человеческой познавательной деятельности с присущим только ей способом объективного рассмотрения явлений и их обобщением, в то же время сама служит объектом наукометрических исследований. На протяжении последних двух веков неоднократно предпринимались попытки оценки и сравнения научного продукта с помощью различных библиометрических методов, среди которых на сегодняшний день наиболее используемыми в нашей стране являются следующие:
— импакт-фактор издания (ИМФ);
— индекс цитирования (ИЦ);
— индекс Хирша (ИХ).
Почти 100 лет в мире сохраняется интерес к оценке публикаций по их цитируемости. Первую попытку создать рейтинг научных периодических изданий по этому признаку предприняли P.L.K. Gross и E.M. Gross в 1927 г., изначально для ранжирования юридической литературы. Позднее Эстель Бродман изучала журналы по физиологии в таком же аспекте [1].
Ученый и издатель, Е. Garfield, имевший степень бакалавра по химии и магистра по библиотековедению, опубликовал в 1955 г. первую статью об ИЦ (citation index) в журнале «Science» [2]. Позднее он развил свои идеи в виде гигантского труда — «Указателя библиографических ссылок в научной литературе» (Science Citation Index — SCI), впервые вышедшего в свет в 1963 г. и содержавшего сведения о более чем 3,3 млн ссылок в 196 тыс публикациях по всем точным, естественным и прикладным наукам, а также о 60 тыс патентов на изобретения, зарегистрированных в США.
В более поздние годы SCI стал содержать список всех работ, которые упоминались в какой-либо из публикаций текущего года. Много лет он состоял из
двух частей, издаваемых в виде отдельных томов — собственно «Указателя цитированной литературы» и «Указателя источников». С 1975 г. основанная Е. Garfield организация ежегодно издавала «Отчеты о цитиру-емости журналов» (Journal Citation Reports — JCR), где приводились данные о более чем 7,5 тыс научно-технических журналов свыше 3,3 тыс издателей из более чем 60 стран [3, 4]. Позднее, начиная с 2006 г., появились и другие источники подобных данных, например, Google Scholar. Сейчас данный ИЦ выпускается в ограниченном варианте на CD, а полностью представлен в онлайн-проекте Web of Science.
В начале 60-х годов ХХ века Е. Garfield с коллегами для определения качества отбираемых журналов в SCI разработали способ вычисления импакт-факто-ра (impact factor) издания. Его необходимость была обусловлена сугубо библиометрическими параметрами: исключить из списка анализируемых изданий
6B
Zhurnal im. N.V. Sklifosovskogo
NEOTLOZHNAYA MEDITSINSKAYA POMOSHCH' - 4' 2014
Luk'yanova E.E. Nekotorye naukometricheskie kriterii otsenki nauchnoy deyatelhosti [Several scientomet-ric criteria for evaluation of scientific activity]. Zhurnal im N VSklifosovskogo Neotlozhnaya meditsinskaya
pomoshch 2014; 4: 68-70. (In Russian)
узкоспециализированную периодику и малотиражные журналы.
Показатель ИМФ — это формальный численный критерий важности научного издания, ежегодно рассчитываемый Институтом научной информации (Institute for Scientific Information, ISI) и публикующийся в журнале Journal Citation Report. Расчет ИМФ происходит простым сопоставлением соотношения между количеством ссылок за год на статьи журнала, опубликованные за 2 предшествовавших года, и количеством самих статей, вышедших за этот же период. ИМФ демонстрирует, сколько раз в среднем цитируется каждая опубликованная в журнале статья в течение 2 последующих лет после выхода. Доказано, что в основном ИМФ имеет смысл подсчитывать после 5 лет существования издания, за исключением узкоспециализированных журналов [1, 5, 6].
Во многих работах современных специалистов указывается, что количество цитат статьи в определенном журнале не измеряет ни качества журнала, ни научной ценности статьи, а всего лишь частично отражает численность публикаций в отдельной области науки, текущую популярность тематики статьи и читаемость издания [3, 5, 7, 8]. При этом надо не упускать из виду то обстоятельство, что специализированные журналы с узкой читательской аудиторией всегда будут иметь более высокий ИМФ, т.к. они одновременно имеют и самый высокий коэффициент самоцитирования, свидетельствующий о замкнутости, изолированности дисциплины, к которой относится издание [7, 8].
Естественно, что на показатели ИМФ влияют также и внешние факторы, один из которых можно объяснить только политической волей: в мировых базах данных (БД), таких как Web of Science, PubMed и других, перечень цитируемых изданий на русском языке не пересматривался с момента распада СССР. Многие из уважаемых в нашей стране профессиональных медицинских изданий до настоящего времени не отражаются в этих БД. Достаточно сказать, что в общепризнанной БД научного цитирования Scopus, охватывающей свыше 22 тысяч научных журналов, только 300 наименований (или позиций) по всем отраслям знания имеют российское происхождение [3, 5].
Другим объективным критерием ценности научной продукции признан учет ИЦ научных документов за длительный период времени. Он обеспечивает получение достаточно достоверных данных, так как ценность научного труда определяется на основании многолетней практики и по его использованию в работах последователей, поскольку цитируемость отображает именно реализованное, состоявшееся использование научных результатов в исследовательской работе [1, 5, 9].
В мировой практике информационную основу ИЦ составляют 3 блока, объединяющие базы данных различных групп дисциплин и учитывающие специфику организации знания в каждой из них. Для медицинских работников интерес представляет, в первую очередь, ИЦ естественных наук (собственно Science Citation Index — SCI). В России в 2005 г. в Научной электронной библиотеке (НЭБ, eLIBRARY.ru) начал создаваться аналог общемировому ИЦ — «Российский индекс научного цитирования» (РИНЦ), целью которого стало формирование отечественной библиографической БД по научной периодике с систематическим продвижением в сети Internet отечественных научных изданий. Однако, как указывается в работе А.И. Вялкова и Е.А. ГГлуховой, вышедшей в 2013 г., на сегодняшний день «РИНЦ является неполным из-за ограниченности перечня и рет-
роспективы обрабатываемых журналов, диссертаций и авторефератов диссертаций. В качестве источников ссылок в незначительной степени отражаются монографии, патенты, статьи из сборников» [10].
Величина ИЦ определяется количеством ссылок на публикацию (или фамилию) в других источниках. Однако для действительно точного определения значимости научных трудов важно не только количество ссылок на них, но и качество этих ссылок. Так, на работу может ссылаться авторитетное академическое издание, популярная брошюра или развлекательный журнал. Значимость у таких ссылок разная и при подсчете используется более сложная формула, учитывающая ИМФ издания.
Литературный источник, указанный в библиографической сноске в каком-либо издании, является библиографической ссылкой для цитирующей работы, и цитированием — для цитируемой работы. Т.е. если в своей публикации автор сослался на другого автора, то новый исследователь, ссылаясь на первого, в первую очередь увеличивает ИЦ второго.
Содержание ИЦ, в свою очередь, является объектом интенсивных исследований специалистов по социологии науки, наукометрии и науковедению. Периодические дискуссии возникают по поводу адекватности оценок отдельных публикаций и их авторов с помощью методов, основанных на данных о цитировании, поскольку на ИЦ, кроме научного уровня работ, влияет множество посторонних факторов (доступность информации, тираж, язык публикации и т.д.). Поэтому некоторые ученые указывают, что в отрыве от остальных факторов ИЦ не следует использовать как прямой показатель научного уровня [5, 7, 8]. С еще большей осторожностью, по мнению отечественных специалистов в области наукометрии, библиотековедения и документоведения, следует подходить к сравнительной оценке ученых по ИЦ [1, 3, 9]. Особенно в условиях нашей страны, когда на величину ИЦ часто влияют множество посторонних факторов (обязательное цитирование руководителей учреждений, принятое во многих НИИ; цитирование работ знакомых и т.п.) [7].
Разработанные изначально для целей навигации и поиска научной литературы, ИЦ вскоре стали использоваться для определения научного «вклада», выявляемого на основании числа библиографических ссылок на ту или иную научную публикацию. По мнению многих специалистов, количество ссылок на конкретную публикацию либо на публикации конкретного автора характеризует, с одной стороны, публичное признание работы и ее автора, а с другой стороны, выступает только в качестве грубого критерия интеллектуальной ценности научных идей [1, 3-5, 8].
Лукьянова Е.Е. Некоторые наукометрические критерии оценки научной деятельности // Журнал им. Н.В. Склифосовского Неотложная медицинская помощь. - 2014. - № 4. - С. 68-70.
Журнал им. Н.В. Склифосовского НЕОТЛОЖНАЯ МЕДИЦИНСКАЯ ПОМОЩЬ - 4' 2014
Одним из относительно недавно появившихся биб-лиометрических критериев, занявших, тем не менее, одно из ведущих мест в оценке продуктивности ученых, стал так называемый Индекс Хирша (h-индекс), названный по фамилии впервые предложившего его ученого [6]. Предложенный в 2005 г., данный динамически изменяющийся показатель рассчитывается на основе сравнения совокупности публикаций ученого или авторского коллектива и числа библиографических ссылок на них за определенный период времени. В частности, J.E. Hirsh предложил сопоставлять количество публикаций автора за произвольные 2 года с количеством ссылок на его же работы (независимо от времени выхода), опубликованные в трудах других ученых за этот же временной отрезок [6].
Менее чем за десятилетие использования этого критерия появились не только восторженные, но и критические публикации, отражающие возможности, ошибки и пределы допустимого в его применении [9]. Не только в отечественной, но и в зарубежной печати указывается на его главный недостаток: он не определяет динамики цитирования, и, если ИХ содержит ссылки на часто цитируемую публикацию, то в дальнейшем, когда появятся другие работы ученого, его ИХ, в лучшем случае, никак не изменится, а в большинстве случаев будет стремиться к угасанию [5, 9]. При подсчете ИХ не учитываются перекрестные ссылки, что характерно для ИЦ. Также, если ученый опубликовал небольшое количество даже фундамен-
ЛИТЕРАТУРА
1. Писляков В.В. Наукометрические методы и практики, рекомендуемые к применению в работе с российским индексом научного цитирования // Разработка системы статистического анализа российской науки на основе данных российского индекса цитирования: отчет о научно-исследовательской работе (промежуточный) по теме / В.В. Писляков. - М., 2005. - 24 с.
2. Garfield E. Citation indexes for science: a new dimension in documentation througt association of ideas / Е. Garfield // Science. - 1955. -Vol. 122. - P. 108-111.
3. Власов В.В. Значение научных публикаций в специализированных журналах / В.В. Власов // Журнал неврологии и психиатрии им. С.С. Корсакова. - 2010. - № 7. - С. 86-89.
4. Gevers W. Globalizing science publishing / W. Gevers // Science. -2009. - Vol. 325. - Is. 5943. - Р. 920.
5. Арчаков А.И. Международные критерии эффективности научно-исследовательской деятельности коллективов и отдельных ученых в области биологии и медицины / А.И. Арчаков, Е.А. Карпова, Е.А. Пономаренко // Вестник РАМН. - 2013. - № 5. - С. 4-9.
REFERENCES
1. Pislyakov V.V. Naukometricheskie metody i praktiki, rekomenduemye k primeneniyu v rabote s rossiyskim indeksom nauchnogo tsitirov-aniya [Scientometric methods and practices recommended for use in working with the Russian Science Citation Index]. In: Razrabotka sistemy statisticheskogo analiza rossiyskoy nauki na osnove dannykh ros-siyskogo indeksa tsitirovaniya: otchet o nauchno-issledovatel'skoy rabote (promezhutochnyy) po teme [Development of statistical analysis of Russian science on the basis of the statutory citation index: a report on the research work (interim) on the subject]. Moscow, 2005. 24 p. (In Russian).
2. Garfield E. Citation indexes for science: a new dimension in documentation througt association of ideas. Science. 1955; 122: 108-111.
3. Vlasov V.V. Znachenie nauchnykh publikatsiy v spetsializirovannykh zhurnalakh [The value of scientific publications in specialized journals]. Zhurnal nevrologii i psikhiatrii im. S.S. Korsakova. 2010; 7: 86-89. (In Russian).
4. Gevers W. Globalizing science publishing. Science. 2009; 325 (5943): 920.
5. Archakov A.I., Karpova E.A., Ponomarenko E.A. Mezhdunarodnye kri-terii effektivnosti nauchno-issledovatel'skoy deyatel'nosti kollektivov i otdel'nykh uchenykh v oblasti biologii i meditsiny [International criteria of effectiveness research activities of groups and individual scientists in the field of biology and medicine]. VestnikRAMN. 2013; 5: 4-9. (In Russian).
тальных исследований, ему не удастся получить высокий ИХ, т.к. для его подсчета совершенно неважно, сколько дополнительных цитирований получит автор в последующие годы [5].
Проблема оценки результатов научной деятельности стала актуальной в связи с растущими связями науки и экономики, когда вопросы управления наукой ставятся в один ряд с ее финансированием. Считается, что использование науко- и библиометрических показателей для оценки значимости научной деятельности медицинских учреждений достаточно иллюстративно отражает характерные особенности работ и способствует объективизации экспертных оценок, что, в конечном итоге, существенно облегчает проведение содержательного анализа завершенных работ.
В то же время в мировой наукометрической и библиометрической литературе широко обсуждаются правомерность использования данных показателей в качестве объективных индикаторов научной деятельности, как отдельных ученых, так и целых организаций [4, 8, 9]. Кажущаяся простота использования перечисленных выше критериев, изначально разработанных для сугубо практических целей научных библиотек, может, и зачастую приводит к неверной интерпретации получаемых данных. Создатель большинства современных наукометрических критериев — Е. Garfield всегда предупреждал о том, что использование разработанных им критериев для прямой оценки научного вклада ученого неправомерно и порочно [2].
6. Hirsh J.E. An index to quantify an individual's scientific research output / J.E. Hirsh // PNAS. - 2005. - Vol. 102, N. 46. - P. 16569-16572.
7. Ивушкин А.А Наукометрический анализ материалов российского и европейского съездов психиатров / А.А. Ивушкин, А.В. Немцов // Рос. психиатрический журн. -2010. - № 3. - С. 80-87.
8. Lange L. The impact factor as a phantom: Is there a self-fulfilling prophecy effect of impact? / L. Lange // J. of Documentation. - 2002. -Vol. 58, N. 2. -P. 175-184.
9. Costas R. The h-index. Advantages, limitations and its relation with other bibliometric indicators at the micro level / R. Costas, M. Bardons // J. Inform. - 2007. - Vol. 1, N. 3. - P. 193-203.
10. Вялков А.И. Оценка качества научно-исследовательской деятельности медицинской организации с помощью наукометрических показателей / А.И. Вялков, Е.А. Глухова // Здравоохранение РФ. -2013. - № 3. - С. 3-6.
6. Hirsh J.E. An index to quantify an individual's scientific research output. PNAS. 2005; 102 (46): 16569-16572.
7. Ivushkin A.A., Nemtsov A.V. Naukometricheskiy analiz materialov ros-siyskogo i evropeyskogo s"ezdov psikhiatrov [Scientometric analysis of the materials of the Russian and European Congress of psychiatrists]. Rossiyskiy psikhiatricheskiyzhurnal. 2010; 3: 80-87. (In Russian).
8. Lange L. The impact factor as a phantom: Is there a self-fulfilling prophecy effect of impact? J of Documentation. 2002; 58 (2):175-184.
9. Costas R, Bardons M. The h-index. Advantages, limitations and its relation with other bibliometric indicators at the micro level. J Inform. 2007; 1 (3): 193-203.
10. VyalkovA.I.,Glukhova E.A.Otsenkakachestvanauchno-issledovatel'skoy deyatel'nosti meditsinskoy organizatsii s pomoshch'yu naukomet-richeskikh pokazateley [Assessment of quality of the research activities of the medical organization using scientometric indicators]. Zdra-vookhranenieRF. 2013; 3: 3-6. (In Russian).
Поступила 11.09.2014
Контактная информация: лукьянова Евгения Евгеньевна, к.п.н., заведующая научно-медицинской библиотекой НИИ СП им. Н.В. Склифосовского ДЗ г. Москвы e-mail: jennijenniluk@mail.ru
Zhurnal im. N.V. Sklifosovskogo
NEOTLOZHNAYA MEDITSINSKAYA POMOSHCH' - 4' 2014
