CC BY
485
ЗОНА ВЗАИМОДЕЙСТВИЯ
УДК 001.102 ББК 72
И.А. ЛАГИРЕВА
Статистические измерения науки: индексы цитирования и индекс цитируемости
Рассматриваются индексы научного цитирования и их основные показатели применительно к системе оценки результатов научной деятельности; особое внимание уделяется критическому анализу использования индекса цитируемости в научно-образовательной сфере.
Ключевые слова: индекс цитирования, индекс цитируемости, индекс Хирша, импакт-фак-тор, библиометрический показатель, оценка научной деятельности.
С каждым годом статистические показатели все больше внедряются в сферу российской науки и образования. Растет число документов Минобрнауки и Российской академии наук (РАН), которые предполагают учет данных статистики цитирования при оценке эффективности научных проектов, результативности деятельности научно-образовательных учреждений и организаций. В этой связи представляется вполне закономерным возросшее внимание ученых и научной администрации к научному цитированию. Возникает вопрос: что и как измеряют показатели цитирования, насколько корректным является широкое использование этих показателей в качестве оценочного критерия публикационной активности и научной результативности?
Рассмотрение данного вопроса целесообразно начать с уточнения терминологии. В эпоху глобализации для многих авторов становится особенно актуальным наличие их публикаций в международных системах научного
ЛАГИРЕВА Ирина Анатольевна — научный сотрудник научно-исследовательского отдела Владивостокского филиала Российской таможенной академии, г. Владивосток.
92
ТАМОЖЕННАЯ ПОЛИТИКА РОССИИ НА ДАЛЬНЕМ ВОСТОКЕ № 3(64)/2013
цитирования, или индексах цитирования. Что представляет собой этот информационный ресурс? Индекс цитирования (citation index) - база данных цитирования, специализированный информационный продукт, в котором аккумулируется и обрабатывается полная библиографическая информация о научных публикациях (автор, название, источник, год, том, номер, страницы), в том числе авторское резюме (аннотация, реферат), ключевые слова, пристатейные списки использованной литературы, сведения о месте работы автора (организация, город, страна) [5].
Одним из ключевых показателей базы данных научных публикаций является индекс цитируемости (ИЦ). Индекс цитируемости указывает на число цитирований, суммарное количество ссылок на каждую публикацию. Источник, указанный в библиографической сноске, по отношению к цитирующей работе является библиографической ссылкой, а для цитируемой работы - цитированием. Необходимо отметить, что при употреблении терминов «индекс цитирования» и «индекс цитируемости» в некоторых печатных и электронных источниках прослеживается неоправданное смешение понятий, нередко в рамках одной и той же работы, до их полного отождествления. Выявленная синонимия может быть связана с проблемами перевода, особенностями употребления термина citation index в английском языке, вызвана некритическим заимствованием, вольной интерпретацией или иными причинами. Что, в свою очередь, может быть предметом специального анализа. Если же обратиться к другим распространенным публикационным показателям, основанным на учете ссылок, то ими являются индекс Хирша (h-индекс) и импакт-фактор.
Индекс Хирша (h-index) - количественный показатель, который используется для оценки деятельности конкретного исследователя. Ученый имеет индекс h, если h из его N статей цитируются h (и более) раз каждая. Пример: h-индекс равен 3 в том случае, если ученый опубликовал не менее 3 работ, каждая из которых была процитирована 3 и более раз.
Импакт-фактор (ИФ, impact-factor) является широко применяемым критерием авторитетности, влиятельности научного журнала. ИФ журнала показывает, сколько раз в среднем цитируется каждая опубликованная в журнале статья в течение заданного периода. Стандартный расчет ИФ основан на трехлетнем периоде и представляет собой нахождение отношения суммарного числа ссылок, которые получил журнал на конец текущего года на статьи, опубликованные в этом журнале в предыдущие два года, к числу статей, опубликованных в данном журнале в эти же два предшествующих года. Например, ИФ журнала в 2012 г. I вычисляется следующим образом: I = A/B, где A - число цитирований в течение 2012 г. в других журналах статей, опубликованных в данном журнале в 2010-2011 гг.; B - число статей, опубликованных в данном журнале в 2010-2011 гг.. Перечень показателей не исчерпывается указанными выше. Базы данных цитирования включают в себя целый комплекс параметров и индикаторов, характеризующих научную деятельность с разных сторон.
ЗОНА ВЗАИМОДЕЙСТВИЯ
93
История создания баз данных цитирования ведется с 1873 г., когда в США был создан первый индекс цитирования Shepard’s Citations, включающий ссылки на юридические документы. В 1960 г. американским ученым Юджином Гарфилдом был образован Институт научной информации (Institute for Scientific Information), основным коммерческим проектом которого стал Science Citation Index (SCI), первый мультидисциплинарный индекс цитирования, охватывающий различные отрасли науки. Принципы, заложенные в основу SCI, во многом определили пути дальнейшего развития индексов цитирования, оказав тем самым немаловажное влияние на развитие научной коммуникации и науки в целом.
Очевидная ориентированность SCI на англоязычные журналы не могла не подтолкнуть к созданию национальных индексов цитирования в других, неанглоязычных странах. В 1974 г. в СССР были предприняты попытки создания отечественного аналога SCI. Однако эти попытки не увенчались успехом, поскольку проект создания отечественного указателя научного цитирования требовал значительных финансовых вливаний и технических ресурсов. С 1987 г. в Китае ведется работа по созданию индексов цитирования Chinese Science Citation Database, China Scientific Technical Papers and Citations. В 1995 г. Япония запускает проект Citation Database for Japanese Papers, который становится составной частью национальной научной информационно-поисковой системы CiNii. Наряду с названными проектами, разработка национальных индексов ведется в Тайване (Taiwan Humanities Citation Index), а также в ряде европейских стран [7].
В нашей стране отечественный проект индекса цитирования начал разрабатываться с 2005 г. компанией «Научная электронная библиотека» (eLIBRARY. RU). Российский индекс научного цитирования (РИНЦ) - информационноаналитическая система, включающая данные о научных публикациях российских ученых и их цитировании. На сегодняшний день эта система не имеет аналогов по полноте отражения и аналитике массива российской научной периодики (обрабатывает около 4 тыс. наименований российских журналов, на платформе eLIBRARY.RU доступны полнотекстовые версии более 2,8 тыс. российских научно-технических журналов, в том числе более 1,7 тыс. журналов в открытом доступе), обладает встроенными возможностями поиска, анализа и управления библиографической информацией. РИНЦ - динамично развивающийся проект, база регулярно пополняется и постоянно совершенствуется [5]. Ведутся работы по интеграции данных с крупнейшими по охвату международными индексами цитирования Web of Science (WoS), Scopus.
WoS (компания Thompson Reuters, США; год создания индекса - 1961) охватывает более 12 тыс. наименований авторитетных журналов мира, 150 тыс. материалов конференций, включает следующие базы данных на платформе Web of Knowledge:
- Science Citation Index Expanded, SCIE (естественные и точные науки);
- Social Science Citation Index, SSCI (общественные науки);
94
ТАМОЖЕННАЯ ПОЛИТИКА РОССИИ НА ДАЛЬНЕМ ВОСТОКЕ № 3(64)/2013
- Arts and Humanities Science Citation Index, AHSCI (искусства и гуманитарные науки);
- Conference Proceedings Citation Index (материалы конференций) [12; 3].
Scopus (компания Elsevier, Нидерланды; год создания - 2005) - единая политематическая база данных по различным направлениям фундаментальных, инженерных и социальных наук. Индексирует более 18 тыс. наименований научно-технических и медицинских журналов почти 5 тыс. международных издательств [11].
Как видно, указанные базы данных разнятся по составу, количеству журналов, глубине архивного наполнения (попытки сравнения значений показателей из разных баз не имеют смысла). Несомненное преимущество РИНЦ в том, что в отличие от основных международных индексов цитирования российский индекс является некоммерческим проектом и находится в открытом доступе. Каждый желающий без ограничений может использовать этот удобный поисково-аналитический инструмент для того, например, чтобы узнать: кто, кого и с какой частотой цитирует?
Классический индекс цитируемости трактуется как «число ссылок на работы данного ученого в мировой научной литературе, которое отражает востребованность его результатов» [9]. В какой мере цитируемость связана с востребованностью в науке, продуктивностью научной деятельности?
Многих привлекают в ИЦ следующие достоинства:
- широкий охват научной литературы (один из самых распространенных библиометрических показателей);
- объективность (по отношению к мнению вышестоящих лиц и инстанций);
- наглядность (видимый «след» научной коммуникации);
- простота в понимании и использовании;
- прозрачность в расчетах, публичность и доступность результатов;
- корреляция с талантом и работоспособностью исследователя.
Вместе с тем, ИЦ подвергается критике как показатель формальный, статистически недостоверный, зависящий от ряда внешних факторов [2].
Основные недостатки ИЦ:
- формальность и условность;
- относительность;
- эффект Матфея;
- гибкость, подверженность манипуляциям.
ИЦ, являясь количественным показателем, в силу своей специфики не дает целостной оценки научной и публикационной активности, не отражает содержания соответствующих работ и их вклад в науку. Это простой «механический» способ оценки, а в науке, как известно, упрощение и схематизация не уместны. Согласно выводам Международного математического союза, сделанным в докладе «Статистика цитирования», ИЦ «представляет собой только ограниченный и неполный взгляд на качество исследований, и статистика,
ЗОНА ВЗАИМОДЕЙСТВИЯ
95
выведенная из данных цитирования, зачастую плохо понимается и используется неверно. Научные исследования настолько важная вещь, что их ценность невозможно измерить только единственным грубым средством» [10].
На ИЦ, кроме научного уровня работы, влияет множество посторонних факторов [8], некоторые из них:
- отрасль науки, область и направление исследований, дисциплина, если учитывать общее количество специалистов по той или иной отрасли науки, размер потенциальной цитирующей аудитории, специфику предмета изучения (высокий индекс у биологов и химиков, меньше -у физиков и математиков, еще меньше - у гуманитариев; экспериментаторов цитируют реже, чем теоретиков; некоторые работы не публикуются в открытых источниках, и т. д.) [4];
- конъюнктура, текущая популярность исследования (тематическая принадлежность к тренду, моде способствует увеличению цитируемости; новаторские, выходящие за рамки парадигмы работы цитируются хуже);
- «маркетинговая» активность, «самореклама» исследователя, включающая выступления, контакты, массив публикаций и их распространение;
- место работы исследователя (наличие постоянной позиции в крупном центральном или зарубежном вузе по целому ряду причин дает гораздо больше возможностей при равном уровне работ);
- география журнальных публикаций и изданий (наблюдается взаимосвязь с имеющимся местом работы);
- возраст исследователя (влияние возраста на значение показателя явно прослеживается при расчете индекса Хирша, с прохождением времени показатель растет);
- фамилия исследователя (распространенные фамилии затрудняют процесс классификации научной информации, алфавитный порядок в списке соавторов публикаций в некоторых случаях ущемляет тех, кто идет в списке не первым).
В цитировании статей находит свое проявление библиометрический аспект эффекта Матфея (Matthew effect), социального феномена, описанного американским социологом Робертом Мертоном. Эффект Матфея заключается в том, что за работу одного уровня и качества ученый с именем получит больше почестей и признания, чем неизвестный. Применительно к библиометрическим показателям это означает, что из двух одинаковых работ больше ссылок получит та работа, которая принадлежит перу известного автора. Однако подобную тенденцию накопления заслуг можно выявить не только для отдельных ученых, но и для массива публикаций: цитируемость статьи часто зависит от солидности журнала, в котором она опубликована [6].
Указанная «проблематичность» ИЦ усугубляется зафиксированными случаями манипулирования показателем, «накручивания» индекса путем самоцитирования и цитирования друг друга. Хуже того, в ряде источников можно
96
ТАМОЖЕННАЯ ПОЛИТИКА РОССИИ НА ДАЛЬНЕМ ВОСТОКЕ № 3(64)/2013
увидеть прямые или завуалированные рекомендации прибегать к манипуляциям такого рода для повышения «отчетного» индекса и других параметров, основанных на данных о ссылках. Такие и подобные действия, в конечном итоге, увеличивают значение так называемых «показателей результативности научной деятельности», но не повышают (а в действительности понижают) результативность, бросая тень на само занятие наукой.
Показатели индексов цитирования, безусловно, важны и нужны, они являются ориентиром, маяком в море научной информации. Данные статистики позволяют проследить применение и развитие научных идей, определить динамику существующих научных направлений и выявить новые - в национальном и международном масштабах. Но нужно помнить, что цифры дают лишь общий ориентир, не являясь критерием качества, мерой таланта и значимости ученого. Опасность состоит в том, что из-за неуместного акцентирования важности ИЦ, широкого его использования, повышение значения этого показателя может стать целью. Если же «достижение некоторого показателя становится целью, он перестает быть хорошим показателем» (согласно закону Гудхарта) [1]. По экспертной оценке, «индекс цитируемости, будучи возведен в абсолют, может изуродовать науку так же, как телевизионный и иные массовые рейтинги уродуют культуру» [9]. Простой библиометрический показатель может превратиться в основной количественный показатель качества научных статей и журналов, результативности авторов, организаций и даже стран. Альтернативой излишней формализации в научно-образовательной сфере являются экспертная оценка и комплексный анализ.
В заключение следует еще раз подчеркнуть, что статистические показатели индексов цитирования лишь опосредованно отражают научный уровень. При проведении оценки научной деятельности, принятии административных решений их необходимо использовать в комплексе, в числе прочих критериев, с учетом определенных допущений и дополнений. Окончательные же выводы о качестве научной работы могут быть сделаны только на уровне всестороннего анализа и экспертных оценок.
Список литературы
1. Арнольд Д. Гнусные цифры [Электронный ресурс] / Д. Арнольд, К. Фаулер. Рос. академия наук. URL: http://www.ras.ru/news/shownews.aspx?id= e0587895-686c-42af-9e4e-334071d0be06
2. Индекс цитирования - инструмент, а не цель! [Электронный ресурс]. Рос. академия наук. URL: http://www.ras.ru/news/shownews.aspx?id=e0587895-686c-42af-9e4e-334071d0be06
3. Кириллова О.В. Как измеряют науку: основные показатели и индикаторы индексов цитирования [Электронный ресурс]. URL: http://www.ihtik.lib. ru/tmp/Kirillova_Scopus.rar
ЗОНА ВЗАИМОДЕЙСТВИЯ
97
4. Муравьева М. Геннадий Месяц: «Индекс цитирования не всегда объективно отражает заслуги ученого» [Электронный ресурс]. URL: http://www.strf. ru/material. aspx?CatalogId=347&d_no=14318
5. Научная электронная библиотека eLIBRARY.RU [Электронный ресурс]. URL: http://elibrary.ru/projects/citation/cit_index.asp?
6. Писляков В.В. Эффект Матфея в цитировании статей российских ученых, опубликованных за рубежом [Электронный ресурс] / В.В. Писляков, Е.Л. Дьяченко. URL: http://www.hse.ru/data/194/242/1240/Pislyakov2.pdf
7. Российский индекс научного цитирования [Электронный ресурс]: URL: http://ru.wikipedia.org/wiki/
8. Соколов М. Чтобы индексы цитирования сработали [Электронный ресурс]. URL: http://www.polit.ru/article/2009/12/10/index1/
9. Штерн Б.Е. Индекс цитируемости российских ученых [Электронный ресурс] // Независимая газета. URL: http://www.ng.ru/science/2003-05-14/13_ citata.html
10. Citation Statistics [Электронный ресурс] // International Mathematical
Union (IMU). URL: http://www.mathunion.org/fileadmin/IMU/Report/
CitationStatistics.pdf
11. Scopus [Электронный ресурс] // Elsevier. URL: http://elsevierscience.ru/ products/scopus/
12. Web-of-science [Электронный ресурс] // Thompson Reuters. URL: http:// thomsonreuters.com/web-of-science/
