CC BY
11
НАУКОМЕТРИЯ И БИБЛИОМЕТРИЯ
2017.02.030. ВИНКЛЕР П. РАЗМЕР И ИМПАКТ ЭЛИТНОГО МАССИВА ПУБЛИКАЦИЙ В НАУКОМЕТРИЧЕСКИХ ОЦЕНКАХ.
VINKLER P. The size and impact of the elite set of publications in scientometric assessments // Scientometrics. - 2016. - Vol. 110, N 1. -P. 163-177. - DOI 10.1007/s 11192-016-2165-1.
Ключевые слова: элитный массив; зависимость индекса от области знаний; h -индекс; g-индекс; п-индекс; ранговая позиция в процентах.
Автор, сотрудник Венгерской академии наук, ставит своей целью обобщить и обновить сложившийся ряд библиометрических показателей для оценки влиятельности (импакта) публикаций ученых, работающих в ряде областей естественных наук. Помимо традиционных брутто-индексов (общее число статей в журналах - P, число их цитирований - C) важную роль играют индикаторы, исчисляемые на элитных массивах публикаций. Первый из них -h-индекс, введенный Дж. Хиршем1, за ним последовал g-индекс, введенный Л. Эгги2. В свое время автор статьи ввел PRP-индекс (ранговая позиция в процентах - percent rank position3), а также п-индекс, а в данной статье он вводит WCS-индекс (средневзвешенная доля цитирования).
1 Hirsch J.E. An index to quantify an individual's scientific research output // Proceedings of the National Academy of Sciences of the United States of America. -2005. - Vol. 102, N 46. - P. 16569-16572.
2 Egghe L. Theory and practice of the g-index // Scientometrics. - 2006. -Vol. 69. - P. 131-152.
3
Vinkler P. Comparative rank assessment of journal articles // Journal of infor-metrics. - 2013. - Vol. 7. - P. 712-717.
Хорошо известно, что мера влиятельности (импакта) опубликованной информации о научных достижениях может быть представлена наукометрическими индикаторами импакта, полученными с помощью данных о публикациях и их цитировании. В наукометрии уже используется ряд показателей, характеризующих совокупный импакт массивов журнальных статей ученых как в количественном, так и в качественном отношении1. Одна из главных проблем при сравнении показателей импакта публикаций ученых, работающих в различных областях знаний, вызвана различием библиометрических характеристик как в этих областях, так и в подобластях. Это различие может проявляться главным образом в количестве ежегодных публикаций (что зависит от скорости опубликования), в среднем числе пристатейных ссылок и в скорости устаревания информации.
Показатели импакта публикации могут включать как количественные, так и качественные аспекты. Ранее эти индексы рассчитывались на основе данных, представляющих полные проанализированные массивы публикаций. Однако в последнее время наблюдается другая тенденция: все большее значение приобретают индексы, рассчитанные на основе только части полного массива2. Эта тенденция, по-видимому, объясняется тем фактом, что распределение статей в любом массиве (например, в журнале) по степени импакта довольно несимметрично. Следовательно, лишь относительно небольшая часть каждого массива публикации содержит наиболее релевантную информацию3. В то же время в любом массиве публикаций ученых есть статьи, которые содержат результаты малой значимости или результаты, достигнутые в исследованиях по тематике, от которой позднее отказались, и т.д. Включать в ана-
1 Wildgaard L., Schneider J.W., Larsen B. A review of the characteristics of 108 author-level bibliometric indicators // Scientometrics. - 2014. - Vol. 101. - P. 125-158.
Schreiber M. Twenty Hirsch index variants and other indicators giving more or less preference to highly cited papers // Annalen der Physik. - 2010. - Vol. 52. -P. 536-554; A multilevel meta-analysis of studies reporting correlations between the h index and 37 different h index variants / Bornmann L., Mutz R., Hug S.E., Daniel H.-D. // Journal of informetrics. - 2011. - Vol. 5. - P. 346-359
Vinkler P. The n-index: A new indicator for assessing scientific impact // Journal of information science. - 2009. - Vol. 35. - P. 602-612.
лиз такие статьи при определении импакта публикаций того или иного исследователя автору представляется неправильным.
Для настоящего исследования были отобраны 15 членов Венгерской академии наук, из них пять человек работают в биологии и зоологии, пять - в химии и пять - в биологии и биохимии. Выбранные области знаний соответствуют аналогичным в базах библио-метрической системы Web of Science (WoS). Известно, что биб-лиометрические особенности указанных областей знания весьма различаются. Тем не менее можно предположить, что средний им-пакт статей журнала применительно к этим трем группам ученых может быть устойчивым в рамках соответствующей области знания. Это предположение основано на том, что все выбранные исследователи входят в состав Венгерской академии наук, которая выбирает членов из числа ученых, имеющих титул «Доктор Венгерской академии наук» (Dr. HAS), согласно критериям, сходным в каждой области знаний. Это высшая научная степень в Венгрии. Ученые с титулом Dr. HAS обязательно имеют степень PhD. Все ученые, статьи которых анализирует автор, - университетские профессора.
Данные о публикациях ученых и их цитировании были почерпнуты из баз WoS с публикационным окном с 1975 г. по 15 февраля 2016 г. Окно цитирования для каждой из статей было выбрано соответствующим образом, с момента опубликования до 15 февраля 2016 г. Далее необходимо было определить, какой массив публикаций следует сопоставить тому или иному автору. Наиболее цитируемую часть массива публикаций можно назвать элитным или центральным массивом. Идея элитных массивов восходит к исследованиям высокоцитируемой литературы1. В настоящей статье размер элитного массива публикаций для каждого из авторов определяется разными способами: как количество статей в h-массиве, в g-массиве, в п-массиве или как 10% всего числа статей (с. 163).
И наконец, размер элитного массива определяется с помощью порогового метода - как число статей, которые цитируются в
1 Aksnes D.W. Characteristics of highly cited papers // Research evaluation. -2003. - Vol. 12. - P. 159-170; Plomp R. The significance of the number of highly cited papers as an indicator of scientific prolificacy // Scientometrics. - 1990. - Vol. 19. -P. 185-197.
2,3 или 5 раз больше средней цитируемости (mean citation rate -MCR) статей в данном журнале. Например, оцениваемая статья опубликована в журнале «Journal of Chemical Physics» в 1997 г. В первую очередь вычисляют индекс MCR для статей, опубликованных в 1997 г. Публикационному окну 1997-2016 гг. соответствует полное число статей P = 2318, которые получили С = 91 065 ссылок. Следовательно, MCR = C/P = 39,29, а кратные пороги равны, соответственно, 2 MCR - 78,58; 3 MCR - 196,49; 5 MCR -235,74. Если интересующая статья получила c(i, п) = 87 цитирований, то, согласно пороговому критерию 2 MCR, она входит в элитный массив, а согласно критерию 3 MCR - не входит (с. 172).
Автор признает, что «реальный» размер элитного массива в рамках более широкого массива публикаций с помощью применяемых методов может быть определен только приблизительно. Например, возможно возникновение неоправданно большого числа цитирований при излишнем сокращении числа статей в элитном массиве. Пример: студент или молодой исследователь, участвовавший в исследовании в лаборатории лауреата Нобелевской премии или другого уважаемого ученого в течение одного или двух лет, будет фигурировать как соавтор одной или двух статей с цитированием в несколько тысяч ссылок.
Существуют и альтернативные методы определения таких массивов публикаций. Однако реальные элитные массивы для каждого ученого в определенных областях знаний для каждого момента времени могут наиболее точно определить только специалисты в соответствующих областях.
Одна из целей исследования, проведенного автором, заключается в выявлении значимости PRP- и WCS-индексов для сравнения импакта публикаций из элитных массивов журнальных статей, принадлежащих видным ученым, работающим в различных областях естественных наук. Другая цель - сравнение размера элитного массива публикаций видных ученых, рассчитываемого с помощью разных методов, и сравнение п-индекса, рассчитываемого на п-массиве. Этот индекс интересен также для определения влияния размера массива на оценку влиятельности статей того или иного
автора, потому что аналогичные факторы, влияющие на И-индекс и g-индекс, уже изучались в других работах1.
Далее производились расчеты индексов с использованием статистического пакета 81ай8йса 7 (с. 167). Автор вводит три им-пакт-индекса. Так, п-индекс определяется как
п = 0,01С (п)
?
где с (п) — сумма цитирующих ссылок, полученных элитным массивом из р(п) статей (с. 164).
Результаты работы показали, что размер элитного массива и распределение статей по числу ссылок сильно влияют на п-индекс. Тем не менее была обнаружена сильная ранговая корреляция по Спирмену между п-индексами, полученными для различных пороговых подходов. Обнаружено также, что при определении соответствующего метода для расчета размера элитного массива следует учитывать размер общего массива, отобранного для анализа п-индекса. Из представленных результатов можно сделать вывод, что число элитных статей должно быть равно как минимум семи. Соответственно общий массив статей данного автора должен составлять 50 статей (72).
РЯР-индекс индивидуальной статьи соотносит порядковый номер ее ранга с общим числом публикаций, размещенных в соответствующем журнале в том же году. Он выражает позицию статьи в форме ранга цитируемости в публикующем журнале в процентах. Естественно, окна цитирования для данной статьи и для других статей в соответствующем журнале должны быть идентичными. РЯР-индекс индивидуальной статьи вводится формулой ряр(1) = 100[1 - ((г(/, п) -1) / р^)]
?
где г(/, п) - ранговый номер /-ой статьи по числу цитирований в п-массиве публикующего журнала, Р(У) — общее число статей в данном журнале в соответствующем году (с. 164).
РЯР-индекс массива статей может быть рассчитан как сумма РЯР-индексов отдельных публикаций, а именно:
ряр = £ ™ рлр(/).
1 Schreiber M., Malesios C.C., Psarakis S. Exploratory factor analysis for the Hirsch index, 17 h-type variants, and some traditional bibliometric indicators// Journal
of informetrics. - 2012. - Vol. 6. - P. 347-358.
Применение индекса основывается на предположении о том, что ранг статей в публикациях журнала, согласно числу ссылок на нее, может отражать сравнительное воздействие публикаций. Индекс сравнивает ранг изучавшихся статей с рангом последней (менее всего цитируемой) статьи в журнале (с. 164). Следовательно, PRP-индекс может рассматриваться как непараметрический индикатор, который основывается на распределении статей по цитированию. Таким образом, в первом приближении этот индекс - инструмент, не зависящий от библиометрических факторов в данной области знаний. PRP-индекс имеет следующие недостатки: качество публикаций в журнале в целом игнорируется; число статей в выпуске журнала может существенно влиять на значение индекса.
Автор вводит импакт-индекс - индекс средневзвешенной доли цитирования (weighted citation share - WCS) (с. 164). Этот показатель соотносит число цитирований c(i, п), полученных элитным массивом статей, с общим количеством цитирований c (j), полученным всеми статьями p(j) , опубликованными в том же журнале в том же году. Естественно, окна цитирования в отношении исследованной статьи и в отношении статей в публикующем журнале должны быть идентичны. Соответственно, индекс показывает долю отдельных публикаций в общем числе цитирований, полученных журналом в целом. Это индивидуальное соотношение цитирования умножается на количество статей P (J), опубликованных в журнале (с. 164):
wcs (i) = P( j )[c(i, п) / c (j)].
Этот же индекс для массива статей представляет простую сумму (там же).
wcs = yi р=п wcs (i).
Автор предположил, что WCS-индекс будет (по крайней мере частично) независим от области исследований, поскольку он применяется к общему числу цитирований статей в публикующем журнале. Следовательно, WCS-индексы для отдельной статьи и для массива статей (сумма индивидуальных индексов для различных областей исследований) могут быть сопоставимыми. Взвешивание по числу опубликованных работ основывается на предположении о том, что большая доля исследованных статей в общем числе цитирований могут быть тем более значимыми, чем больше размер
журнала. Индекс может рассматриваться в качестве индикатора взвешенного вклада. Однако, вопреки ожиданиям автора, расчеты показали, что WCS-индекс испытывает сильное влияние того, в какой области работает ученый.
Описательные статистические данные, полученные автором, показывают, что ученые, работы которых рассмотрены, несомненно, относятся к исследовательской элите в выбранных областях знаний. Среднее число цитирований (С = 4066,13), h-индекс (30,4), п-индекс (18,72) заметно превышают аналогичные величины для руководителей групп или лабораторий, младших и старших научных сотрудников в среднем по Венгерской академии наук (с. 171). Ранговая корреляция по Спирмену между C-, h-, g- и п-индексами относительно велика и составляет величины в пределах 0,94-0,99 (с. 8). Таким образом, автор показал, что влиятельность публикаций выдающихся, высокоцитируемых ученых может оцениваться с помощью любого из упомянутых индексов в пределах одной области знаний.
Что касается зависимости от размеров элитного массива, им-пакт-индексы (g, h, п, PRP, WCS), рассчитанные в статье на основе данных элитных массивов различного размера, хорошо согласуются друг с другом. Однако из рассмотренных индексов сравнительное влияние публикаций ученых, работающих в различных областях, позволяет измерить только PRP-индекс. Автор признает, что научная продуктивность отдельного ученого не может быть охарактеризована только импакт-индексом. Тем не менее было показано, что сумма PRP-индексов элитных статей отдельного ведущего и имеющего международное признание ученого с учетом его или ее относительной публикационной стратегии может дать - с хорошим приближением - оценку реальной, допускающей сопоставление влиятельности его публикаций.
С.В. Егерев
2017.02.031. ТЕЙШЕЙРА ДА СИЛВА Х.А., БОРНЕМАН-ЧИМЕН-ТИ Х. ПОЧЕМУ ПРОДОЛЖАЮТ ЦИТИРОВАТЬ НЕКОТОРЫЕ ОТОЗВАННЫЕ СТАТЬИ?
TEIXEIRA DA SILVA JA., BORNEMANN-CIMENTI H. Why do some retracted papers continue to be cited? // Scientometrics. - 2016. -Vol. 110, N 1. - P. 365-370. - D0I:10.1007/s11192-016-2178-9.
