CC BY
30
Современные библиометрические критерии, применяемые для оценки научной деятельности
Е.Е. Лукьянова
ГБУЗ «<НИИ скорой помощи им. Н.В. Склифосовского ДЗМ», Москва Контакты: Евгения Евгеньевна Лукьянова, jennijenniluk@mail.ru
Проанализированы наиболее применяемые в нашей стране формальные критерии оценки результатов научной деятельности. Проведен анализ публикаций журнала «<Трансплантология» с применением наукометрических критериев.
Ключевые слова: наукометрия, библиометрия, импакт-фактор издания (ИМФ), индекс цитирования (ИЦ), индекс Хирша (ИХ).
Contemporary bibliomeiric criteria used for measuring a research impact
E.E.Lukyanova
N.V. Sklifosovsky Research Institute for Emergency Medicine of Moscow Healthcare Department, Moscow
The most usable formal criteria for measuring the research impact in our country have been reviewed. The scientometrics criteria were used to analyze scientific articles published in "Transplantology" Journal.
Keywords: scientometrics, bibliometrics, impact factor of a publication (IMP), citation index (CI), h-index.
Новое специфическое направление, называемое сейчас библио- или наукометрией, стало развиваться с конца XIX века, когда необходимость совершенствования процессов переработки нарастающего документально-информационного потока побудила сотрудников научных библиотек начать выработку критериев отбора документов в их фонды.
Одним из направлений этой достаточно разнообразной научной области стала экспертиза ценности документа. На сегодняшний день существует большое разнообразие критериев ранжирования информационной ценности документа, в том числе и по определению количества ссылок на него. На протяжении почти 100 лет в мире сохраняется интерес к оценке публикаций по их цитируемости, и все это время создаются и совершенствуются различные библиометрические критерии (БК).
Среди большого количества БК, динамически оценивающих цитируемость публикаций, основными принято считать пять: общее число публикаций (общее число цитирований), максимальное цитирование одной работы, импакт-фактор издания (ИМФ), индекс цитирования (ИЦ) и индекс Хирша (ИХ) [1, 5]. Среди наиболее часто используемых в нашей стране БК особенно интересными для специалиста медицинской науки можно считать последние три.
Рассмотрим их подробнее. Первый из них - ИМФ - изначально создан в 1927 году P.L.K. Gross и E.M. Gross для определения наиболее часто используемых периодических источников литературы по юриспруденции. Цель ранжирования состояла в определении списка
основных изданий, подписка на которые должна была быть обязательной. Через несколько лет подобный рейтинг для журналов по физиологии создала Estelle Brodman [4]. Окончательно это понятие было введено в начале 60-х годов ХХ века Е. Garfield с коллегами, которые разработали способ вычисления «impact factor» издания для определения качества отбираемых журналов в издаваемый ими Science Citation Index (SCI). Его необходимость была обусловлена сугубо биб-лиометрическими параметрами: исключить из списка анализируемых изданий узкоспециализированную периодику и малотиражные журналы [8].
Сейчас показатель ИМФ - это формальный численный критерий важности научного издания, ежегодно рассчитываемый Институтом научной информации (Institute for Scientific Information -ISI) и публикующийся в журнале «Journal Citation Report». Расчет ИМФ происходит простым сопоставлением соотношения между количеством ссылок за определенный период на статьи журнала, опубликованные за этот же анализируемый период, и количеством самих статей, вышедших за этот же период. ИМФ демонстрирует, сколько раз в среднем цитируется каждая опубликованная в журнале статья в течение 2 последующих лет после выхода. Научно обоснованным можно считать положение о том, что ИМФ начинают подсчитывать через 5 лет после выхода первого номера издания. Исключение составляют только узкоспециализированные журналы, имеющие конкретную целевую аудиторию [1, 4, 11]. Такие издания всегда будут иметь более высокий ИМФ по сравнению с общими, адресованными широкому читательскому контингенту. В то же время для такой периодики характерен и самый высокий коэффициент самоцитирования -показателя, отражающего соотношение между количеством библиографических ссылок в при-статейных списках в целом и на работы, опубликованные ранее в этом же журнале, и свидетельствующего о замкнутости, изолированности дисциплины, к которой относится издание [4, 11].
В качестве примера расчета ИМФ рассмотрим журнал «Трансплантология», который выходит в свет с 2009 года. В первый год выпущены 2 номера, а затем, начиная с 2010 года, издание стало ежеквартальным. За анализируемый
период вышли 18 выпусков, из которых 3 были сдвоенными. В 2014 году можно подсчитать ИМФ данного журнала за период 2010-2012 гг. По данным научной электронной библиотеки (НЭБ, eLIBRARY.ru1), в представленный период ИМФ журнала «Трансплантология» = 0,132 (учитывались результаты обследования 16 выпусков, т.е. с начала выхода издания).
Из чего же складывается данный показатель: в анализируемый автором данного исследования временной отрезок вышли 9 номеров журнала, в которых были опубликованы 87 научных статей, 9 редакционных материалов и 11 информационных бюллетеней, обозревающих различные прошедшие или предстоящие форумы, т.е. в каждом выпуске содержатся 11,8 ± 1,5 публикации. Оставив в стороне массу БК, с помощью которых можно изучать данный журнал, продолжим подсчет его ИМФ. Из 87 статей 20 были без списков использованной литературы, а в 67 публикациях были процитированы 1696 источников. В среднем на одну публикацию приходятся 25,19 ± 0,67 ссылки, из них только на исследования отечественных ученых - 15,2 ± 1,6%. Начиная с номера 2-3 за 2011 год, появляются ссылки на работы, ранее опубликованные в этом же журнале. Количество таких ссылок к концу 2012 года составило 23, т.е. 0,135% от общего числа. Естественно, что этот процент будет увеличиваться с каждым годом. В этот же период на публикации журнала сослались не только печатающиеся в нем авторы, но и другие специалисты в других изданиях - 113 раз (по данным НЭБ). Казалось бы, сопоставив приведенные выше данные с общим количеством статей, опубликованных за год в журнале, мы должны получить тот ИМФ, который указан в eLIBRARY.ru. Однако не все так просто, так как в отечественной НЭБ не учитываются ссылки в крупнейших массивах публикаций: монографиях, диссертациях, патентах [3]. В частности, в представленном НЭБ количестве цитирований журнала отсутствуют 15 ссылок на его статьи в вышедшей в 2011 году монографии по трансплантации органов и имеющей высокий тираж - 1000 экземпляров2. Поэтому ИМФ конкретного журнала, представленный в eLIBRARY.ru, не может служить точным отражением его реального научного статуса.
1 В 2005 году в России на сайте eLIBRARY.ru начал создаваться аналог общемировому ИЦ — «Российский индекс научного цитирования» (РИНЦ), целью которого стало формирование отечественной библиографической базы данных по научной периодике с систематическим продвижением в сети Internet отечественных научных изданий.
2 Трансплантация органов и тканей в многопрофильном научном центре [Текст] / Под ред. М.Ш. Хубутия. — М.: АирАтр, 2011. — 424 с.: ил. - Библиогр. в конце глав. - 1000 экз. - ISBN 978-5-89177-055-3.
На показатели ИМФ серьезно влияют внешние факторы, в том числе чисто политические: к середине 2014 года в мировых базах данных (БД), таких как Web of Science, PubMed и других, перечень цитируемых изданий на русском языке не пересматривался с момента распада СССР. Многие из авторитетных профессиональных медицинских изданий, уважаемых в нашей стране и начавших выходить после 1991 года, до настоящего времени никак не отражаются в этих БД. В общепризнанной БД научного цитирования Scopus, охватывающей свыше 22 000 научных журналов, только 300 - российских, причем по всем отраслям знаний [1, 2]. И естественно, что А.И. Арчаков и соавт. в 2013 году подчеркнули существенную разницу между ИМФ российских и международных журналов: максимальное значение ИМФ = 1,058 у английской версии журнала «Биохимия» [1].
Многие отечественные и зарубежные специалисты серьезно озабочены внедрением БК в систему оценки научных достижений и подчеркивают, что количество цитат статьи в определенном журнале не измеряет ни качества журнала, ни научной ценности статьи. В целом ИМФ отражает только численность публикаций в отдельной области науки и может лишь служить ориентиром, демонстрирующим популярность тематики и читаемость издания [1, 2, 4, 11].
Другим, считающимся объективным критерием ценности научной продукции, признан учет ИЦ научных документов за длительный период времени. Он обеспечивает получение достаточно достоверных данных, так как ценность научного труда определяется на основании многолетней практики и по его использованию в работах последователей, поскольку цитируемость отображает именно реализованное, состоявшееся применение научных результатов в исследовательской работе [1, 5, 7, 8].
Впервые этот показатель внедрил Е. Garfield -ученый и издатель, имевший степень бакалавра по химии и магистра по библиотековедению, который в 1955 году опубликовал первую статью о «citation index» в журнале «Science» [8]. Позднее он вместе с коллегами развил свои идеи в виде гигантского труда - «Указателя библиографических ссылок в научной литературе» (SCI), впервые вышедшего в свет в 1963 году и содержавшего сведения о более чем 3,3 млн ссылок в 196 000 публикаций по всем точным, естественным и прикладным наукам, а также о 60 000 патентов на изобретения, зарегистрированных в США.
Позднее SCI стал содержать список всех работ, которые упоминались в какой-либо публикации текущего года. Много лет он состоял из двух частей, издаваемых в виде отдельных томов -собственно «Указателя цитированной литературы» и «Указателя источников». С 1975 года основанная Е. Garfield организация ежегодно издавала «Отчеты о цитируемости журналов» (Journal Citation Reports - JCR), где приводились данные о более чем 7500 научно-технических журналов свыше 3300 издателей из более чем 60 стран [1, 8]. Затем, начиная с 2006 года, появились и другие источники подобных данных, например «Google Scholar». В наше время этот ИЦ, состоящий из трех блоков, объединяющих БД различных групп дисциплин и учитывающих специфику организации знания в каждой из них, полностью представлен в онлайн-проекте «Web of Science». Для медицинских работников интерес представляет в первую очередь ИЦ естественных наук, собственно SCI.
Величина ИЦ определяется количеством ссылок на публикацию (или фамилию) в других источниках, но для объективного определения значимости научных трудов важно не только количество ссылок на них, но и качество изданий, опубликовавших эти ссылки. Так, на работу автора может ссылаться авторитетное академическое издание, популярная брошюра, газета или развлекательный журнал. Значимость у таких ссылок разная и при подсчете используется более сложная формула, учитывающая в первую очередь ИМФ издания.
Источник, указанный в библиографической сноске в каком-либо издании, является ссылкой для цитирующей работы и цитированием - для цитируемой работы. Т.е., если в своей публикации автор сослался на другого автора, то новый иссле-
дователь, ссылаясь на первого, в первую очередь увеличивает ИЦ второго. Возвращаясь к анализу публикаций журнала «Трансплантология», можно отметить необычайно высокий уровень цитирования иностранных авторов - свыше 85% ссылок. Понятно, что данная научная область сама по себе наиболее интенсивно развивается за рубежом, но ее истоки находятся в нашей стране и недостаточное внимание к отечественным авторам серьезно вредит нам самим. В качестве примера приведем публикацию специалистов НИИ СП им. Н.В. Склифосовского, в которой проанализированы критерии отбора больных для пересадки сердца. К статье прилагается список литературы, состоящий из 105 иностранных источников, а опыт отечественных ученых, собственные наблюдения остались без цитирования и, следовательно, без возможности как-то повлиять на свой ИЦ3.
Специалисты, работающие в области библиометрии и науковедения, продолжают исследования наполнения ИЦ. Периодически возникают дискуссии по поводу адекватности оценок отдельных публикаций и их авторов с помощью методов, основанных на данных о цитировании, поскольку на ИЦ кроме научного уровня работ влияет множество посторонних факторов (доступность информации, тираж, язык публикации, адекватность перевода и т.д.). Поэтому многие ученые указывают на то, что в отрыве от остальных факторов ИЦ не следует использовать как прямой показатель научного уровня учреждений [1, 4, 11]. С еще большей осторожностью, по мнению отечественных специалистов в области наукометрии, библиотековедения и документоведения, следует подходить к сравнительной оценке ученых по ИЦ [2, 5, 6]. Особенно в условиях нашей страны, когда на величину ИЦ часто влияет множество посторонних факторов (обязательное цитирование руководителей учреждений, принятое во многих НИИ, цитирование работ потенциальных оппонентов, знакомых и т.п.) [4, 5]. В последние годы вышло несколько статей в центральной печати, анализирующих нравственные принципы научного соавторства и цитирования, принятые в нашей стране. К сожалению, многие выводы, сделанные авторами этих публикаций, неутешительны [5, 6].
Так, Ю.Н. Штейнгардт, ссылаясь на материалы семинара президиума СО РАМН «Оценка эффективности и результативности наук»,
пишет, что в 2011 году по количеству научно-медицинских публикаций Россия занимала 13-е место, по цитируемости - 21-е, а по значимости публикаций - только 126-е. [6]. Насколько эти данные отражают реальный вклад отечественных ученых в мировой научный прогресс, сказать не просто сложно, а почти невозможно.
Сегодня ИЦ стали использовать для определения научного вклада ученого или организации без учета того, что изначально этот формальный, в сущности, критерий был разработан для навигации и поиска научной литературы. Многие специалисты обоснованно считают, что количество ссылок на конкретную публикацию либо на публикации конкретного автора характеризует, с одной стороны, публичное признание работы и ее автора, а с другой стороны, выступает только в качестве грубого критерия интеллектуальной ценности научных идей [1, 2, 4, 9, 11].
Из всех известных БК только ИХ (Ь-индекс), названный по фамилии впервые предложившего его ученого и появившийся менее 10 лет назад, стал первой попыткой оценить вклад конкретного ученого в развитие мировой научной мысли [1, 4, 10]. Предложенный в 2005 году, данный динамически изменяющийся показатель рассчитывают на основе сравнения совокупности публикаций ученого или авторского коллектива и количества библиографических ссылок на них за определенный период времени. В частности, J.E. НлгэЬ предложил сопоставлять число публикаций автора за произвольные 2 года с количеством ссылок на его же работы (независимо от времени выхода), опубликованные в трудах других ученых за этот же временной отрезок [10].
За менее чем 10-летие использования этого интегрального показателя появились критические публикации, отражающие возможности, ошибки и пределы допустимого в его применении [7]. И в отечественной, и в зарубежной печати указывается на его главный недостаток: он не определяет динамику цитирования, и если ИХ содержит ссылки на часто цитируемую публикацию, то в дальнейшем, когда появятся другие работы ученого, его ИХ в лучшем случае никак не изменится, а в большинстве будет стремиться к угасанию [1, 7]. При подсчете ИХ не учитываются перекрестные ссылки, что характерно для ИЦ. Также, если ученый опубликовал небольшое количество даже фундаментальных исследований, ему не удастся получить высокий ИХ, так
3 Современные подходы к отбору больных для трансплантации сердца / М.Ш. Хубутия, С.Р. Гиляревский, В.В. Соколов, Е.В. Ковалева, И.М. Кузьмина, Е.И. Бойчевская // Трансплантология. - 2010. - № 3-4. - С. 50-63.
как для его подсчета совершенно неважно, сколько дополнительных цитирований получит автор в последующие годы [1].
Одними из серьезных причин, влияющих на изменение как ИЦ, так и ИХ конкретного автора в международных БД, являются многозначность транслитерации фамилий и инициалов русскоязычных авторов, а также отсутствие утвержденных и запатентованных наименований отечественных научных организаций. И это серьезная проблема, так как для машины, автоматически анализирующей поток информации, различие даже в одном символе сразу образует новый файл с новым автором, тогда как на самом деле речь идет об одном и том же человеке и (или) учреждении.
Сегодня применение общемировых критериев для оценки результатов научной деятельности стало актуальной задачей в связи с растущими связями науки и экономики, когда вопросы управления наукой ставятся в один ряд с ее финансированием. Для повышения ИЦ и ИХ отдельных авторов и медицинских научных учреждений, а также роста ИМФ выходящих в стране журналов необходим целый ряд условий, среди которых многие отечественные авторы приводят: повышение уровня научных публикаций, развитие международного сотрудничества и др. [1, 3-5]. Так, в статье А.И. Арчакова и соавт. один из
выводов можно считать абсолютно бесспорным: для повышения ИЦ и ИХ российских ученых необходимо публикации в отечественной печати переводить на английский язык [1]. И только в публикации В.В. Власова открыто говорится о «свидетельствах существования огромного организационного неравенства в науке» [2].
В мировой библиометрической литературе продолжает широко обсуждаться правомерность использования БК в качестве объективных индикаторов научной деятельности как отдельных ученых, так и целых организаций [7, 9, 10, 11]. При кажущейся на первый взгляд простоте использования перечисленных выше БК, разработанных изначально для сугубо практических целей научных библиотек, адекватная оценка зачастую невозможна, а попытки оценить по цитированию вклад отдельного специалиста в общемировой научный прогресс основываются в большинстве случаев на достаточно тенденциозной интерпретации получаемых данных. Еще в середине ХХ века создатель большинства современных БК - Е. Garfield - всегда предупреждал о том, что использование разработанных им критериев для прямой оценки научного вклада ученого неправомерно и порочно [8]. В отношении же трудов российских ученых профессор В.В. Власов констатирует, что наш потенциал явно недооценен [2].
Литература
1. Арчаков, А.И. Международные критерии эффективности научно-исследовательской деятельности коллективов и отдельных ученых в области биологии и медицины / А.И. Арчаков, Е.А. Карпова, Е.А. Пономаренко // Вестник РАМН. - 2013. - № 5. - С. 4-9.
2. Власов, В.В. Значение научных публикаций в специализированных журналах / В.В. Власов // Журнал неврологии и психиатрии им. С.С. Корсакова. - 2010. - № 7. - С. 86-89.
3. Вялков, А.И. Оценка качества научно-исследовательской деятельности медицинской организации с помощью наукометрических показателей / А.И. Вялков, Е.А. Глухова // Здравоохранение РФ. - 2013. - № 3. - С. 3-6.
4. Писляков, В.В. Наукометрические методы и практики, рекомендуемые
к применению в работе с российским индексом научного цитирования / В.В. Писляков // Разработка системы статистического анализа российской науки на основе данных российского индекса цитирования: отчет о научно-исследовательской работе (промежуточный) по теме. - М., 2005. - 24 с.
5. Циммерман, Я.С. Еще раз о некоторых нравственных принципах науки и научных исследований / Я.С. Циммерман // Клиническая медицина. -2009. — № 2. - С. 4-7.
6. Штейнгардт, Ю.Н. Почему российские медицинские науки «не впереди планеты всей» / Ю.Н. Штейнгардт // Здравоохранение РФ. - 2012. - № 6. -С. 54 - 55.
7. Costas, R. The h-index. Advantages, limitations and its relation with other
bibliometric indicators at the micro level / R. Costas, M. Bardons // J. Inform. -2007. - Vol. 1, N.3. - P. 193-203.
8. Garfield, E. Citation indexes for science: a new dimension in documentation througt association of ideas / E. Garfield // Science. - 1955. - Vol. 122. - P. 108111.
9. Gevers, W. Globalizing science publishing / W. Gevers // Science. -2009. - Vol. 325. - Is. 5943. - P. 920.
10. Hirsh, J.E. An index to quantify an individual's scientific research output / J.E. Hirsh // PNAS. - 2005. - Vol. 102, N.46. - P. 16569-16572.
11. Lange, L. The impact factor as a phantom: Is there a self-fulfilling prophecy effect of impact? / L. Lange // J. of Documentation. - 2002. - Vol. 58, N.2. - P. 175-184.
1. Archakov A.I., Karpova E.A., Pono-marenko E.A. Mezhdunarodnye kriterii effektivnosti nauchno-issledovatel'skoy deyatel'nosti kollektivov i otdel'nykh uchenykh v oblasti biologii i meditsiny [International criteria of efficiency of research activities of groups and individual scientists in the field of biology and medicine]. Vestnik RAMN. 2013; 5: 4-9. (In Russian).
2. Vlasov V.V. Znachenie nauchnykh publikatsiy v spetsializirovannykh zhur-nalakh [The value of scientific publications in peer-reviewed journals]. Zhurnal nevrologii i psikhiatrii im. S.S. Korsa-kova. 2010; 7: 86-89. (In Russian).
3. Vyalkov A.I., Glukhova E.A. Otsenka kachestva nauchno-issledovatel'skoy deyatel'nosti meditsinskoy organizat-sii s pomoshch'yu naukometricheskikh pokazateley [Assessment of quality of the research activities of the medical organization using scientometric indicators].
References
Zdravookhranenie RF. 2013; 3: 3-6. (In Russian).
4. Pislyakov, V.V. Naukometricheskie metody i praktiki, rekomenduemye k primeneniyu v rabote s rossiyskim indeksom nauchnogo tsitirovaniya [Scientometric methods and practices that are recommended for use in working with the Russian Science Citation Index]. Razrabotka sistemy statisticheskogo analiza rossiyskoy nauki na osnove dannykh rossiyskogo indeksa tsitirovaniya: otchet
0 nauchno-issledovatel'skoy rabote (pro-mezhutochnyy) po teme. - Moscow, 2005. 24. (In Russian).
5. Tsimmerman Ya.S. Eshche raz o neko-torykh nravstvennykh printsipakh nauki
1 nauchnykh issledovaniy [Once again on some moral principles of science and research]. Klinicheskaya meditsina. 2009; 2: 4-7. (In Russian).
6. Shteyngardt Yu.N. Pochemu rossiyskie meditsinskie nauki «ne vperedi planety
vsey» [Why Russian medical science "is not ahead of the rest"]. Zdravookhranenie RF. 2012; 6: 54-55. (In Russian).
7. Costas R., Bardons M. The h-index. Advantages, limitations and its relation with other bibliometric indicators at the micro level. J. Inform. 2007; 1 (3): 193-203.
8. Garfield E. Citation indexes for science: a new dimension in documentation througt association of ideas. Science. 1955; 122: 108-111.
9. Gevers W. Globalizing science publishing. Science. 2009; 325 (Is. 5943): 920.
10. Hirsh J.E. An index to quantify an individual's scientific research output. PNAS. 2005; 102 (46): 16569-16572.
11. Lange L. The impact factor as a phantom: Is there a self-fulfilling prophecy effect of impact? J. of Documentation. 2002; 58 (2): 175-184.
