CC BY
16
НАУКОМЕТРИЯ И БИБЛИОМЕТРИЯ
2016.04.025. ВАЛЬТМЕН Л. ОБЗОР ЛИТЕРАТУРЫ ПО ТЕМЕ «ИНДИКАТОРЫ ЦИТИРОВАНИЯ».
WALTMAN L. A review of the literature on citation impact indicators // Journal of informetrics. - Elsevier, 2016. - Vol. 10, N 2. - P. 365-391. -Mode of access: http://dx.doi.org/10.1016/jjoi.2016.02.007
Ключевые слова: библиографическая база данных; анализ цитирования; индикаторы цитирования; нормализация.
Автор - сотрудник Центра исследований науки и технологий в Лейденском университете (Нидерланды).
Индикаторы цитирования позволяют получить информацию о вкладе научной публикации в общемировой поток научных знаний, однако чаще их используют для оценки исследователей, исследовательских групп, научных институтов, стран или научных журналов. В этом случае анализ строится по совокупности публикаций отдельного исследователя или института. Хорошо известны такие примеры индикаторов цитирования, как импакт-фактор жур-нала1 или индекс Хирша2.
Индикаторы цитирования сегодня играют огромную роль в оценке научных исследований, их важность особенно возросла в последние десятилетия. Это получило свое отражение во все увеличивающемся количестве научных публикаций, посвященных этой теме. Большая часть таких публикаций встречается в специа-
1 Garfield E. Citation analysis as a tool in journal evaluation // Science. -American association for the advancement of science (AAAS), 1972. - Vol. 178. -P. 471-479.
Hirsch J.E. An index to quantify an individual's scientific research output // Proceedings of the National Academy of Sciences of the United States of America. -Wash., 2005. - Vol. 102, N 46. - P. 16569-16572.
лизированных журналах, посвященных библиометрии, наукометрии и оценке научных исследований, но есть и работы на эту тему, написанные специалистами других дисциплин.
В реферируемой статье предлагается подробный обзор литературы на тему «индикаторы цитирования», ориентированный как на исследователей, изучающих индикаторы цитирования, так и на практиков, работающих с этими индикаторами. Обзор составлен так, чтобы охватить различные индикаторы цитирования, встречающиеся в литературе, а также различные стратегии выбора, лежащие в основе их создания. На практике индикаторы цитирования рассчитываются на основе информации, содержащейся в библиографических базах данных. Рассматривается также литература, посвященная самим базам данных. Особое внимание уделяется трем ключевым базам данных: Паутина науки, Скопус, Академия Гугл.
Эта работа не является первым обзором данной темы. В 2010 г. П. Винклер1 предложил систематический обзор, посвященный наукометрическим индикаторам, применяемым для оценки научных исследований. Обзорное исследование, предпринятое Л. Вилдгаар-дом и др.2 в 2014 г., анализирует литературу, посвященную библио-метрическим индикаторам, применяемым для оценки индивидуальных исследований. Дж. Мингерс3 в своей работе рассматривает весь спектр наукометрической литературы, в частности подробно исследует индикаторы цитирования.
В 2015 г. был опубликован отчет, подготовленный для Совета по финансированию высшего образования Великобритании4, в котором содержался обзор научной литературы по следующим темам: индикаторы цитирования; результаты использования индика-
1 Vinkler P. The evaluation of research by scientometric indicators. - Chandos publishing, 2010. - 336 p.
Wildgaard L., Schneider J.W., Larsen B. A review of the characteristics of 108 author-level bibliometric indicators // Scientometrics. - Springer, 2014. - Vol. 101, N 1. -P. 125-158.
Mingers J., Leydesdorff L. A review of theory and practice in scientometrics // European journal of operational research. - Elsevier, 2015. - Vol. 246, N 1. - P. 1-19.
4 The metric tide: Literature review (Supplementary report I to the independent review of the role of metrics in research assessment and management) / Wouters P., Thelwall M., Kousha K., Waltman L., De Rijcke S., Rushforth A., et al.; Higher education funding council for England. - HEFCE, 2015. - D0I:10.13140/RG. 2.1.5066.3520.
торов для оценки научного исследования; связь индикаторов и рецензирования; альтернативные индикаторы для оценки исследований. Обзоры двух из этих тем были опубликованы отдельно.
Список журналов для систематического поиска литературы:
1. American documentation.
2. Annual review of information science and technology.
3. ASLIB proceedings.
4. Information proceeding and management.
5. Information scientist.
6. Information storage and retrieval.
7. Journal of documentation.
8. Journal of information science.
9. Journal of informetrics.
10. Journal of the American society for information science.
11. Journal of the American society for information science and technology.
12. Research evaluation.
13. Research policy.
14. Scientometrics.
Методология. Сбор литературы для обзора осуществлялся на основе полусистематического метода. Автор отобрал ряд тем для анализа, для каждой из которых он собрал основной блок литературы. Далее в обзор были добавлены новые публикации, которые были распределены по уже выбранным темам.
Для систематического распределения публикаций по выбранным темам бал использован CitNetExplorer, программный продукт для визуализации и анализа сети цитирований научных публикаций1. Были загружены все статьи из основных журналов в базе данных Паутина науки - 26 тыс. публикаций. Затем они были помещены в программу, которая создала для них сеть цитирований. Кроме того, из списков литературы программа идентифицировала публикации, в том числе и не журнальные, которые не были опубликованы в журналах из этого списка, но были процитированы в них не менее 10 раз. Эти публикации также были включены в сеть
1 Eck N.J., van, Waltman L. CitNetExplorer: A new software tool for analyzing and visualizing citation networks // Journal of informetrics. - Elsevier, 2014. - Vol. 8, N 4. - P. 802-823.
цитирования. Обновленная база данных составила уже 30 тыс. публикаций (с. 367).
Собрав основную базу публикаций, автор вновь воспользовался CitNetExplorer для идентификации дополнительных публикаций, потенциально подходящих для данных целей. Публикации, процитированные как минимум 3-4 раза в уже отобранных публикациях, также были добавлены в базу. Для каждой публикации, идентифицированной программой, вручную определялось ее соответствие тематике (путем анализа названия и аннотации публикации). Некоторые публикации были исключены из анализа.
Относительно принципов отбора публикаций автор отмечает, что, во-первых, основная цель отбора - отразить современные публикации, посвященные индикаторам цитирования; исторические аспекты развития дисциплины оказались за пределами этого обзора; во-вторых, этот обзор не является исчерпывающим; учитывая масштабы объема литературы по данной теме, сделать полный обзор литературы по данной проблематике невозможно.
Библиографические базы данных. Наиболее важные базы данных, пригодные для анализа цитирований, - Паутина науки (ПН), Скопус (С) и Академия Гугл (АГ). Существуют и другие базы данных, но они чаще охватывают лишь отдельные научные области. Некоторые базы данных не содержат списков литературы к публикациям, поэтому они не подходят для анализа цитирований.
ПН - платформа, распространяемая по платной подписке и включающая в себя различные базы данных, наиболее известные из которых: Social science index expanded, Social sciences citation index, Arts & humanities citation index. Указанные индексы охватывают журналы и книжные серии. Сегодня ПН включает такие продукты, как Индекс цитирований тезисов конференций и Индекс цитирований книг. Не так давно в ПН был добавлен новый индекс (Emerging sources citation index), охватывающий научную литературу регионального значения. ПН была собственностью Института научной информации (ISI), сегодня ею владеет компания «Томсон Рейтерс».
Так же как и ПН, С является подписной базой данных. Помимо журналов она охватывает коммерческие публикации, книжные серии, тезисы конференций и научные книги. Она создана в 2004 г. и принадлежит компании «Елзевиер».
Проект АГ был также основан в 2004 г. Его основная особенность заключается в том, что он охватывает научную литературу, находящуюся в свободном доступе онлайн или в сети. Помимо журнальных статей, база включает в себя тезисы конференций, книги, препринты и технические отчеты. Она имеет открытый доступ. Следует отметить, что организация АГ существенно отличается от ПН или С. Поиск научной литературы - основная задача АГ, что же касается библиографических метаданных, они представлены в базе довольно скудно. АГ индексирует около 100 млн документов, представляющих около 87% всех англоязычных научных документов, доступных в Интернете. По другим данным, общее число проиндексированных АГ документов достигает 165 млн (с. 368).
Большинство институтов, подписанных на ПН и С, имеют доступ к базам данных через веб-интерфейс, позволяющий делать простой анализ цитирований для относительно небольшого числа публикаций. Более сложные виды анализа доступны путем прямого доступа к полной версии ПН и С. Профессиональные центры библиометрии имеют прямой доступ к полной версии ПН и С. Существует и альтернативный путь для получения прямого доступа к полной версии обеих баз данных, связанный с использованием таких инструментов, как InCites (для «Томсон Рейтерс») и SciVal (для «Элзевиер»).
Что касается АГ, то извлечение больших объемов информации из этой базы данных проблематично. Иногда для осуществления анализа цитирования с использованием АГ пользуются специализированной для этой базы данных программой «Publish or perish»1. Следует подчеркнуть, что все три базы постоянно меняются и развиваются.
Сопоставление ПН и С. Сравнивая публикации из С с публикациями из ПН, исследователи установили, что 97% всех публикаций ПН (за 2005 г.) также индексируется С, следовательно, ПН может рассматриваться как разновидность С. Публикации за 2001 г. также оказались представлены в С полнее, чем в ПН, особенно публикации, касающиеся здравоохранения. В меньшей степени расхождения были отмечены в инженерных и компьютерных науках.
1 Программа «Publish or perish» позволяет загрузить до 1 тыс. документов одновременно. - Прим. реф.
При анализе публикаций в области онкологии выяснилось, что журналы, охваченные С и не охваченные ПН, чаще имели более низкую цитируемость и принадлежали к группе национально-ориентированных изданий. Их включение в анализ может привести к тому, что показатели отдельной страны могут оказаться заниженными. Другие публикации также подтверждают, что С имеет более широкий охват, чем ПН. Например, в научной области «интерактивное взаимодействие компьютера и человека» в С лучше представлены тематические конференции. В области естественных наук, технологии и медицины С имеет более широкий набор журналов, чем ПН. Для социальных наук С также оказался более полной базой, чем ПН.
В целом С содержит больше журналов, а также все журналы, обрабатываемые ПН, также включены в С. При этом в обеих базах социальные и гуманитарные науки представлены недостаточно, а англоязычные журналы представлены чрезмерно с точки зрения пропорциональности. Ряд исследователей подтверждают, что у авторов в С цитируемость обычно выше, чем в ПН, что объясняется более полным охватом журналов.
С точки зрения пригодности анализа цитирований, применяемого к ПН и С, исследователи расходятся во мнении. Некоторые считают, что работа с обеими базами дает сходный результат при оценке университетских факультетов. Например, относительно журналов, сборников конференций, институтов, касающихся исследований информации, обе базы дают существенно отличные результаты, однако при анализе исследовательских направлений или отдельных стран конечные результаты сопоставимы. Другие исследователи признают результаты странового анализа в ПН и С высококорреляционными.
Сопоставление АГ с ПН и С. Массивный блок публикаций посвящен сравнительному анализу возможностей АГ и ПН, иногда АГ сравнивают с С. АГ превосходит ПН и С с точки зрения охвата публикаций. Например, в области библиотечных и информационных наук АГ обладает преимуществом в представлении тезисов конференций и журналов на национальных языках, в области наук об управлении АГ также имеет неоспоримые преимущества. Для компьютерных наук, астрономии, наук об окружающей среде, фи-
лософии и наук об общественном здоровье преимущества АГ тоже были подтверждены.
Существуют и исследования, подтверждающие противоположную ситуацию: охват публикаций в АГ не превосходит таковой в ПН. Представлены журналы, входящие в ПН и не охваченные АГ. У АГ есть преимущества в области компьютерных наук и математики, но эта база уступает, например, в области физики высоких энергий. Для изучения исследований в области химии также предпочтительнее ПН и С. Для онкологии, общей медицины, физики конденсированного состояния, наук о Земле ни одна из трех баз не является преимущественной1.
Авторы Я. Ли, М. Сандерсон, П. Виллетт и др.2, используя новый подход к сравнительному анализу трех баз данных, подсчитали цитируемость отдельных исследователей в области библиотечных и компьютерных наук. Дополнив анализ оценками экспертов, они пришли к выводу о том, что каждая из баз может быть использована как релевантная. Индикаторы, полученные в С, более всего коррелировали с экспертными оценками, показатели ПН - в наименьшей мере, однако в общем расхождения оказались не такими значительными.
Отдельная группа публикаций посвящена изучению специфических проблем АГ, наиболее существенная из которых - низкий контроль качества. К числу неточностей авторы относят неверный подсчет цитирований и присутствие фантомных данных3. АГ
1 Three options for citation tracking: Google Scholar, Scopus and Web of Science / Bakkalbasi N., Bauer K., Glover J., Wang L. // Biomedical digital libraries. - L., 2006. - Vol. 3, N 1. - P. 7; Comparisons of citations in Web of Science, Scopus, and Google Scholar for articles published in general medical journals / Kulkarni A.V., Aziz B., Shams I., Busse J.W. // Journal of the American medical association. - Chicago, 2009. - Vol. 302, N 10. - P. 1092-1096; Mikki S. Comparing Google Scholar and ISI Web of Science for earth sciences // Scientometrics. - Springer, 2010. - Vol. 82, N 2. - P. 321-331.
Ranking of library and information science researchers: Comparison of data sources for correlating citation data, and expert judgments / Li J., Sanderson M., Willett P., Norris M., Oppenheim C. // Journal of informetrics. - Elsevier, 2010. -Vol. 4, N 4. - P. 554-563.
3
Jacso P. Google Scholar: The pros and the cons // Online information review. -Emerald group publishing, 2005. - Vol. 29, N 2. - P. 208-214; Jacso P. Deflated, inflated and phantom citation counts // Online information review. - Emerald group pub-
ограничивает исследователей в дальнейших манипулированиях с данными, этому заметному недостатку посвящены многочисленные работы. Еще один существенный недостаток базы - непрозрачность принципов ее составления. При работе с АГ у исследователя уходит слишком много времени на ручное исключение повторов и уточнение данных (с. 369).
Социальные и гуманитарные науки. Социальные и гуманитарные науки (СГН) имеют ряд фундаментальных особенностей, отличающих их от других наук: 1) СГН, как правило, национально или регионально ориентированы, что отражается в публикациях на родных языках; 2) результаты СГН в большей мере бывают представлены в книгах, чем в журнальных статьях; 3) развитие теоретической мысли СГН традиционно идет более медленными темпами; 4) в среде СГН не бывает такого большого числа соавторов, как в других науках; 5) результаты СГН нередко бывают нацелены на общественную, а не только на узконаучную аудиторию (с. 370).
Уже существует несколько готовых обзоров литературы, посвященных СГН и базам данных1. В связи с региональной и национальной ориентацией СГН в ПН представлены крайне ограниченно. Национальные журналы по социальным и гуманитарным наукам редко входят в ПН вследствие языковых причин. В ПН доля англоязычных журналов чрезмерно велика - 20-25% (с. 370).
Установлено, что журналы играют важную роль в социальных науках, но не в гуманитарных. Появившийся в ПН Индекс цитирования книг в настоящее время еще не функционирует как источник получения индексов цитирований, но, возможно, в будущем его можно будет использовать подобным образом (с. 370).
lishing, 2006. - Vol. 30, N 3. - P. 297-309; Jacso P. Metadata mega mess in Google Scholar // Online information review. - Emerald group publishing, 2010. - Vol. 34, N 1. -P. 175-191.
1 Hicks D. The difficulty of achieving full coverage of international social science literature and the bibliometric consequences // Scientometrics. - Springer, 1999. -Vol. 44, N 2. - P. 193-215; Nederhof A.J. Bibliometric monitoring of research performance in the social sciences and the humanities: A review // Scientometrics. - Springer, 2006. - Vol. 66, N 1. - P. 81-100; Huang M.H., Chang Y.W. Characteristics of research output in social sciences and humanities: From a research evaluation perspective // Journal of the American society for information science and technology. - John Wiley & sons inc., 2008. - Vol. 59, N 11. - P. 1819-1828.
Целая группа исследований посвящена сопоставлению национальных данных о СГН с данными, представленными в ПН. Такие работы уже сделаны для Квебека (Канада), Фландрии (Бельгия), Норвегии. База данных Эрудит содержит на 30% больше квебекских публикаций в области СГН на французском языке, чем в ПН (с. 370). Исследователи в области СГН из Фландрии стали чаще публиковаться в англоязычных журналах ПН, но их книжная продукция до сих пор остается не оцененной в ПН. Одно из исследований было посвящено сопоставлению тактики фландрских и норвержских ученых в СГН1. Оно показало, что во Фландрии гуманитарии и специалисты в области социальных наук чаще стремятся публиковаться в журналах, индексируемых в ПН, чем в Норвегии.
Тезисы конференций. Для ряда направлений научных исследований (компьютерных и инженерных наук) публикация тезисов конференций (ТК) является важной формой коммуникации между учеными. Однако есть как минимум две причины, по которым учитывать цитирование для тезисов конференций проблематично. Нет достаточного количества исследований, в которых охват ТК для трех баз данных был бы тщательно изучен. Исключение составляют некоторые работы, в которых выявлено, что для проблемы «взаимоотношения человека и компьютера» в С тезисы конференций представлены лучше, чем в ПН. В области библиотечных и информационных наук лучше всего ТК представлены в АГ. Так, в одном из исследований репрезентативность ТК представлена на примере ПН. Данные показали, что многие важные научные мероприятия не отражены в базе данных (с. 370).
Результаты научных исследований, опубликованные в тезисах научных конференций, как правило, дублируются в научных публикациях, и это вторая причина, по которой учет цитирований тезисов конференций проблематичен. Искусственное увеличение численности публикаций на одного автора сокращает среднее число цитирований, приходящееся на одну публикацию, что является негативным фактором оценки труда исследователя.
1 Ossenblok T.L., Engels T.C., Sivertsen G. The representation of the social sciences and humanities in the Web of Science - A comparison of publication patterns and incentive structures in Flanders and Norway (2005-2009) // Research evaluation. - Oxford, 2012. - Vol. 21, N 4. - P. 280-290.
Базовый индикатор цитирования. Автор статьи различает некоторые важнейшие базовые индикаторы цитирования, обсуждение вариантов или производных которых часто встречается в литературе.
Число публикаций отдельного исследователя, исследовательской группы, исследовательского института, страны или журнала, а также цитируемость этих публикаций будут иметь несходные показатели в различных базах данных, поэтому среди исследователей принято за правило считать количество публикаций и количество цитирований по одной и той же базе. Число публикаций и число цитирований - два показателя, существенно зависящие от времени. Вместо того чтобы считать все публикации и все цитирования, обычно рассчитывают эти показатели для определенного периода времени. Принципы отбора публикаций и цитирований - широко обсуждаемая в литературе проблематика. Автор выделяет пять базовых индикаторов цитирования: 1) общее число цитирований; 2) среднее число цитирований на публикацию; 3) число высокоци-тируемых публикаций; 4) доля высокоцитируемых публикаций; 5) индекс Хирша (с. 371).
Наиболее известный индикатор, основанный на средней цити-руемости публикации, - импакт-фактор журнала, который рассчитывается как среднее число цитирований на публикацию в журнале. Индикаторы, основанные на средней цитируемости публикации, применяются очень часто, но нередко они критикуются в литературе. «Средняя цитируемость публикаций» находится в прямой зависимости от одной или нескольких высокоцитируемых публикаций. Эта проблема хорошо изучена как на уровне страны, так и на уровне отдельного университета. Некоторые исследователи предлагают заменить или дополнить индикатор средней цитируемости публикации. Одна из предлагаемых альтернатив заключается в том, чтобы заменить этот индикатор на другой - количество высокоцити-руемых публикаций (с. 371).
Для определения числа высокоцитирумых работ необходимо придерживаться определенных принципов отбора публикаций. Чаще всего высокоцитируемой считается публикация, имеющая не менее десяти цитирований. 110-индекс АГ также рассчитывается на основе высокоцитируемых публикаций (с. 371).
Индекс Хирша рассчитывается с учетом следующего принципа: для определенного набора публикации индекс Хирша равен И в том случае, если И работ из этого набора имеет как минимум И цитирований. Индекс Хирша1 был введен в 2005 г. и быстро приобрел популярность. В литературе индекс Хирша не раз дорабатывался и совершенствовался. Один из примеров нового индекса, созданного на основе индекса Хирша, - g-индекс2.
Основные индикаторы делятся на зависимые и не зависимые от объема выборки публикаций. Не зависимые от размера выборки индикаторы обычно используют для сопоставительного анализа двух исследовательских групп (или университетов) разного размера. Импакт-фактор журнала является не зависимым от размера выборки показателем, поэтому он пригоден для сопоставления двух журналов. Средняя цитируемость статьи и доля высокоцитируемых публикаций - также не зависимые от объема выборки показатели. В свою очередь, общее число цитирований и число высокоцитируемых публикаций зависят от объема выборки. То же можно сказать об индексе Хирша.
Дж. Абрамо и К. А. Д'Анджело3 разрабатывают идею индикаторов относительной мощи, для вычисления которых необходимо учитывать не только продуктивность, но и заложенные в проекте финансы и людские ресурсы.
Отбор публикаций и цитирований. Для анализа цитирований обычно проводится предварительный отбор публикаций. Иногда отбираются публикации за определенный период или за один год. Выбор массива публикаций можно провести путем отсечения лишних публикаций (вступительное слово редактора, публикации на национальных языках или в национальных журналах). Точно так же можно отбирать и цитирования. Например, нередко при анализе публикационной активности автора отсекаются случаи самоцитирования. Учет цитирований за определенный временной период
1 Hirsch J.E. An index to quantify an individual's scientific research output // Proceedings of the National Academy of Sciences of the United States of America. -Wash., 2005. - Vol. 102, N 46. - P. 16569-16572.
2 Egghe L. Theory and practice of the g-index // Scientometrics. - Springer, 2006. - Vol. 69, N 1. - P. 131-152.
Abramo G., D'Angelo C.A. How do you define and measure research productivity? // Scientometrics. - Springer, 2014. - Vol. 101, N 2. - P. 1129-1144.
после опубликования статьи ведет к созданию публикационного окна.
В ПН и С каждый документ отнесен к определенному типу документов: статья, обзор, редакционный материал, письмо, аннотация, тезисы. Как правило, блок документов создается путем отсечения всех типов публикаций кроме одного, поскольку сравнивать документы разного типа проблематично.
Использование индикаторов, зависимых от размера выборки (общее число цитирований, индекс Хирша), кажется проблематичным многим исследователям. Но и использование относительных индикаторов (среднее число цитирований на публикацию) также может привести к искаженному представлению. Например, исследователь выполняет функцию главного редактора журнала и вынужден писать от имени редактора вступительное слово к каждому номеру журнала. Вступительное слово редактора относится к особому жанру научного творчества и гораздо реже цитируется. Поэтому при оценке средней цитируемости публикаций автора следует исключать написанные им вступительные слова редактора.
Широко обсуждаются в литературе такие типы документов, как тезисы конференций, научные обзоры, письма в редакцию или «слово редактора».
Язык. Исключать публикации из анализа можно также путем применения языковых отличий. Ряд авторов пришли к выводу, что при сравнительном анализе стран или исследовательских институтов статьи, написанные на национальных языках, должны быть исключены из анализа (с. 373). Это связано с тем, что неанглоязычные публикации, как правило, получают меньше цитирований, чем англоязычные. Многие исследователи предпочитают читать литературу на английском языке, а не на национальных языках. Включение национальных журналов может привести к искаженным результатам, особенно для тех стран, в которых исследователи часто печатаются на родном языке.
Национальные и международные журналы. Некоторые исследователи полагают, что исключать нужно не только публикации на национальных языках, но и все журналы, не имеющие строгой международной ориентации. Они предлагают свои параметры для характеристики журнала как международного. Многие ратуют за легитимность сравнительного анализа, в котором приемлемо
сравнивать публикации одного порядка. Исключение малоцити-руемых журналов из анализа позитивно сказывается на научном имидже страны. При этом чаще малоцитируемыми бывают именно журналы на национальных языках (с. 373).
Самоцитирование. Существует несколько распространенных форм самоцитирования. Помимо того что сам автор может ссылаться на другие свои работы, теоретики наукометрии предусмотрели, что авторы одного журнала или одного научно-исследовательского института могут упоминать публикации друг друга. Все это различные виды самоцитирования, которые не должны учитываться при расчете индикаторов цитирования. Авторское самоцитирование определяется как вид цитирования, в котором автор упоминает свою публикацию или публикацию своего соавтора. Этому наиболее распространенному определению самоцитирования противопоставляется другое определение, в котором различаются самоцитирование автора и самоцитирование соавтора. Некоторые исследователи предлагают различать постоянных или редких соавторов. Фамилия одного автора может иметь ряд написаний, что усложняет алгоритмическую задачу идентификации самоцитирований (с. 373).
Кроме того, что автору наукометрического проекта необходимо определить, что он считает самоцитированием, он должен придерживаться ясной позиции относительно того, исключать ли вообще из анализа подобные случаи. На уровне отдельной страны случаи самоцитирования обычно бывают незначительны, поэтому некоторые авторы сомневаются, что их не нужно учитывать. На микроуровне (уровне отдельного исследователя) специалисты рекомендуют исключать самоцитирование. Что же касается мезо-уровня (уровня научного института), рекомендуется проводить оба анализа и сравнивать результаты (с. 373).
Есть исследователи, которые предлагают создать особый индикатор на базе подсчета самоцитирований, но не для того, чтобы включать самоцитирование на микро- и мезоуровне, а в связи с тем, что феномен самоцитирования сам по себе кажется им интересным. В 2005 г. Х. Хирш также высказался против включения самоцитирований в анализ, однако он отметил, что при применении индекса Хирша влияние самоцитирований на общий показатель невелик. Ряд авторов с Х. Хиршем не согласились и показали
на примерах, что индекс Хирша также чувствителен к феномену самоцитирования, поэтому перед его применением общий список ссылок лучше очищать от ссылок на самого себя. Аналогичное исследование было проделано М. Шрайбером на примере g-индекса. Оказалось, что показатель последнего может измениться еще больше с учетом самоцитирований1. Авторы Дж. Фоулер, Д. Окс-нес2 рассмотрели не только прямое, но и косвенное влияние самоцитирований на рост показателей автора, поскольку самоцитирование является своего рода рекламой авторских результатов и может привести к большей цитируемости автора. По их подсчетам, в среднем каждое самоцитирование приводит к появлению дополнительных 3,65 цитирований (с. 373).
Окно цитирования. В теории науковедения считается, что подсчитывать количество цитирований имеет смысл только за определенный заданный период времени, который называется окном цитирований. От установления окна цитирования зависит, какие именно публикации будут проанализированы. Например, если установить окно цитирований в пять лет, то публикации последних лет не будут учтены в анализе. Чтобы проиллюстрировать, как правильно выбирать окно цитирования, автор рассматривает следующий пример. Необходимо сравнить показатели цитируемости публикаций за 2005 и 2010 гг. Чтобы сопоставление оказалось максимально правильным, необходимо сделать оба окна цитирования одинаковыми. Для публикаций 2010 г. окно цитирований выбрано - 2010-2015 гг., а для публикаций 2005 г. - 2005-2010 гг. Во втором случае цитирования после 2010 г. будет исключены из анализа.
Выбору окна цитирований для индивидуальных исследователей посвящены многие работы. В частности, было показано, что в физических науках и в науках о жизни агрегированный уровень цитирований за период с коротким окном цитирований (один год) имеет сильную корреляцию с показателями, основанными на большом окне цитирований (десять лет). В других исследованиях на примере итальянских публикаций было установлено, что для
1 Schreiber M. The influence of self-citation corrections on Egghe's g index //
Scientometrics. - Springer, 2008. - Vol. 76, N 1. - P. 187-200.
2
Fowler J.H., Aksnes D.W. Does self-citation pay? // Scientometrics. -Springer, 2007. - Vol. 72, N 3. - P. 427-437.
всех научных направлений, за исключением математики, окна цитирования в два-три года достаточно, чтобы получить основные цитирования для публикаций. Для биохимии и молекулярной биологии сравнительный корреляционный анализ краткосрочного и долгосрочного цитирований показал, что минимальный размер окна цитирований по этим дисциплинам - один год (с. 374).
К исследованиям «окна цитирования» имеет прямое отношение изучение проблемы «отложенного восприятия». В отдельных случаях публикация начинает набирать цитирования только спустя определенный промежуток времени.
Изучая проблему выбора окна цитирования на уровне исследователей или отдельных исследовательских групп (университетов), эксперты соглашаются в главном: показатели цитирования остаются одинаковыми при выборе разного окна цитирования. Из этого вытекает, что выбор короткого окна цитирования предпочтительнее. Однако есть и противоположное мнение. Например, в физических науках и науках о жизни (раздел «космические исследования») выбор более длительного окна цитирования позволяет получить более выгодные результаты. Для публикаций, посвященных проблеме космических исследований, предлагается использовать окно цитирования в шесть лет (с. 374).
Нормализация. Анализ цитирования внутри отдельного научного направления проводится в том числе и с целью дальнейшего осуществления сравнительного анализа двух или нескольких научных областей. Однако частота, с которой научные работы цитируются в разных научных областях, сильно отличается. Например, в биохимии нормальное число цитирований для одной публикации - 25, тогда как в математике - 10 (с. 374).
Помимо того что принципы цитирования не совпадают для разных научных направлений, некорректно сравнивать публикации, сделанные в рамках одного научного направления, но написанные в разные годы, так как более ранняя публикация имеет больше шансов быть процитированной. Публикация 2005 г. может иметь 25 цитирований, а публикация 2010 г. - 10. Если учесть, что средняя цитируемость для публикаций 2005 г. была 40, а для публикаций 2010 г. - 5, то можно прийти к выводу, что публикация 2010 г. - более цитируемая. Часто отмечают, что научные статьи, обзоры, письма редакторов традиционно по-разному цитируются,
поэтому они не могут сравниваться друг с другом. Однако использование нормированных показателей позволяет это сделать. Обычно нормирование осуществляется по области научного знания, году и типу документа, но возможно осуществлять его и по любым другим параметрам (число соавторов, длина публикации). Смысл этих видов нормирования, правда, не так очевиден. Рассчитывать нормальные показатели относительно научных областей можно по всем пяти ключевым индикаторам цитирования.
Нормализация индикаторов цитирования. Для подсчета нормализованного показателя среднего числа цитирований на публикацию необходимо иметь ожидаемое число цитирований на публикацию. Ожидаемое число цитирований публикации определяется как среднее число цитирований для всех публикаций данной области за данный год для документов данного типа (с. 375).
В ПН научные области определяются в соответствии с ее собственным журнальным предметным указателем. Здесь различают около 250 журнальных предметных областей, большая часть которых соответствует определенной научной области (биохимия, физика конденсированного состояния, экономика, математика, онкология, социология и т.д.). Каждый журнал в ПН принадлежит к нескольким предметным категориям. Любая публикация, индексируемая ПН, может быть отнесена к той или иной научной предметной области в соответствии с журналом, в котором она опубликована.
Нормализация показателя цитирования публикации рассчитывается как отношение количества цитирований данной публикации к ожидаемому количеству цитирований. Для публикаций исследовательского коллектива нормализация среднего числа цитирований берется исходя из среднего числа всех нормализованных показателей для публикаций данной группы. В табл. 1 приводится пример, как рассчитывается средний нормализованный показатель цити-руемости для группы исследователей. Например, у данного коллектива есть пять публикаций, для каждой публикации есть реальное и ожидаемое число цитирований. Нормализованный показатель рассчитывается как отношение этих двух результатов. Далее рассчитывается средний нормализованный показатель для пяти публикаций.
Таблица 1 (с. 375)
Пример расчета среднего нормализованного показателя цитируемости для группы публикаций
Реальное количество цитирований Ожидаемое количество цитирований Нормализованный показатель цитируемости
14 21 0,67
12 4 3,00
3 2 1,50
1 5 0,20
0 2 0,00
Средний нормализованный показатель 1,07
Средний нормализованный показатель цитируемости для данной группы исследователей 1,07. Поскольку он выше 1, то можно сделать вывод о том, что цитируемость этой группы в целом выше ожидаемой. Этот способ получил название «the average of ratios approach» (ARA) (с. 376).
Возможно рассчитывать этот показатель иначе: сначала сложить все показатели первой колонки, затем сложить все показатели второй колонки, затем первый результат поделить на второй (30/34). В этом случае получается результат 0,88, который будет говорить о низких показателях группы. Второй способ расчета называется «ratio of averages approach» (RAA). Между исследователями нет согласия относительно того, какой же из двух вариантов является верным. В большей части работ обосновываются преимущества ARA. Однако есть и исследователи, придерживающиеся противоположного мнения. Некоторые считают, что различия между двумя подходами не существенны, особенно когда речь идет об изучении стран или исследовательских институтов.
Нормализованные индикаторы оценки высокоцитируе-мых публикаций. Для нормализации доли высокоцитируемых публикаций необходимо определить зависимый от дисциплины рубеж, за пределами которого публикация считается высокоцити-руемой. Обычно пороговое значение выбирается таким образом, чтобы процент высокоцитируемых публикаций в каждой из научных областей был один и тот же. Например, предлагается изучать 1 и 10% наиболее цитируемых работ, а также - 5%-ный барьер. На основе 10% наиболее высокоцитируемых работ сегодня по-
строены наиболее важные университетские библиометрические рейтинги: Лейденского университета (CWTS LeidenRanking) и SCImago1. Однако исследователи сталкиваются с тем, что выбранный порог не всегда одинаково хорошо помогает отделить лучшие публикации. Нередко в базе данных содержится множество публикаций с одинаковым количеством цитирований. Чтобы в числе лучших не оказалось слишком много или слишком мало публикаций, исследователям приходится завышать или занижать порог, а в этом случае проблемой становится соблюдение единого порога для всех дисциплин. Встречаются различные подходы к решению этой проблемы (с. 377).
Классификация наук, проблема выбора. Нормализация индикаторов цитирования, индикаторов, основанных на среднем цитировании, индикаторов высокой цитируемости статей основана на системе классификации наук. Предметные категории, принятые для журналов в ПН, - наиболее распространенная система классификации, используемая для целей нормализации. Ученые, однако, озабочены некоторыми вопросами, касающимися зависимости нормализованных индикаторов от системы классификации, и предлагают использовать альтернативные классификации наук. Достаточно исследован вопрос зависимости нормализованных показателей от уровня агрегирования, на котором определяются научные области. Было признано, что различные классификации могут быть оправданы выбранной исследовательской логикой. В. Гланзель и коллеги провели сравнительное исследование с использованием двух систем классификации наук: ПН и Будапештская система классификации наук (Leuven / Budapest field classification system), состоящая из 60 дисциплин2. Проведя макроанализ исследовательских институтов, они пришли к выводу, что классификации с высоким уровнем агрегирования более предпочтительны.
1 Waltman L., Eck N.J., van. The inconsistency of the h-index // Journal of the American society for information science and technology. - John Wiley & sons inc., 2012. - Vol. 63, N 2. - P. 406-415; Bornmann L., De Moya Anegon F., Leydesdorff L. The new excellence indicator in the world report of the SCImago Institutions Rankings 2011 // Journal of informetrics. - Elsevier, 2012. - Vol. 6, N 2. - P. 333-335.
Subfield-specific normalized relative indicators and a new generation of relational charts: Methodological foundations illustrated on the assessment of institutional research performance / Glänzel W., Thijs B., Schubert A., Debackere K. // Scientometrics. - Springer, 2009. - Vol. 78, N 1. - P. 165-188.
Свои предложения в этом направлении сделали многие исследователи: некоторые остановились на вопросе удобства использования предметного журнального указателя ПН для нормализации показателей (Van Eck N.J., Waltman L., Van Raan A.F., Klautz R.J., Peul W.C., 2013); другие предлагают определять предметную принадлежность публикаций из мультидисциплинарных журналов на основании прилагаемой к ним литературы (W. Glanzel et al., 1999).
Альтернативные подходы к нормализации. Альтернативные подходы к нормализации не требуют опоры на среднюю цити-руемость работы, а вместо этого используют «норму по цитированию» (citing-side normalization). Рассчитать норму можно исходя из средней длины списка литературы для каждой из дисциплин. Еще один альтернативный подход к нормализации основан на рекурсивном подсчете цитирования. Этот способ подразумевает, что различным видам цитирования придается разное значение в зависимости от цитируемости цитирующей публикации. Данный индикатор также корректируется в зависимости от длины списка литературы. Этот подход был впервые озвучен в 1976 г., новую жизнь в него вдохнули С. Брин и Л. Пейдж в 1998 г. в связи с созданием алгоритма «PageRank»1.
Методы оценивания. В современной науке приняты коллективные исследования. Тенденция заключается в том, что среднее число авторов на одну публикацию постоянно растет. Особенно это характерно для исследований в области физики высоких энергий и некоторых областей биомедицины, где число соавторов иногда доходит до нескольких сотен человек. С учетом этой тенденции все более стирается индивидуальный вклад отдельного исследователя в создание научной публикации. Есть предложение для публикаций с большим количеством соавторов приписывать цитируемость этой публикации каждому из соавторов полностью. Очевидно, что при таком подходе будет накапливаться инфляционный эффект, который будет мешать другим расчетам.
Долевое участие в публикации. Этот метод приписывает каждому из авторов публикации его долю участия в работе, при этом каждый из авторов получает равную долю. При анализе стран
1 Brin S., Page L. The anatomy of a large-scale hypertextual web search engine // Computer networks and ISDN systems. - Elsevier, 1998. - Vol. 30, N 1. - P. 107-117.
и научных институтов применяются различные виды фракционного анализа. Так, в страновом сопоставительном анализе, если публикация написана тремя американскими исследователями и одним английским, 75% оценки отойдет к США, а 25% - к Великобритании. Другой способ заключается в том, чтобы выделить каждой из стран по половине оценки (с. 378).
Другие аналитические инструменты. При фракционном подсчете распределение баллов между авторами не всегда справедливо, и это одна из причин, почему данный метод нередко критикуется. Большинство исследователей согласны с тем, что определять свой вклад в публикацию должны сами авторы. Подразумевается, что вклад автора, указанного первым, является наибольшим, однако чаще авторские фамилии располагаются в алфавитном порядке. Это особенно характерно для таких наук, как математика, экономика, физика высоких энергий. В 2011 г. был опубликован обзор работ на эту тему1.
Еще один способ зафиксировать авторство публикации заключается в том, чтобы учитывать фамилию только первого автора (straight counting). Этот подход уже был изучен на уровне обследования стран, на институциональном уровне, также было проанализировано влияние этого подхода на индивидуальных исследователей. Для ряда исследователей разумной кажется идея приписывать публикацию тому автору, чей электронный адрес указан в контактах для переписки (corresponding author) (с. 379). Срединный вариант - распределение авторства между первым автором и автором, ответственным за переписку. Многие статьи выходят с упоминанием сразу нескольких «первых» авторов (equal first authorship), что вызывает трудности у исследователей в том, как определять участие отдельных авторов в публикациях. Среди новых методов предлагаются «гармонический подсчет»2, «арифметический под-
1 Marusic A., Bosnjak L., Jeroncic A. A systematic review of research on the meaning, ethics and practices of authorship across scholarly disciplines // PLoS ONE. -San Francisco, 2011. - Vol. 6, N 9, e23477.
Hagen N.T. Harmonic allocation of authorship credit: Source-level correction of bibliometric bias assures accurate publication and citation analysis // PLoS ONE. -San Francisco, 2008. - Vol. 3, N 12, e4021; Hagen N.T. Harmonic publication and citation counting: Sharing authorship credit equitably - Not equally, geometrically or arithmetically // Scientometrics. - Springer, 2010. - Vol. 84, N 3. - P. 785-793.
счет»1, «геометрический подсчет»2, метод Ассимакиса и Адама3 и аксиоматический метод Столлингса4 (табл. 2).
Таблица 2 (с. 380)
Различные способы выделения авторской доли в публикациях с пятью авторами
1-й автор 2-й автор 3-й автор 4-й автор 5-й автор
Гармонический подсчет 0,438 0,219 0,146 0,109 0,088
Арифметический подсчет 0,333 0,267 0,200 0,133 0,067
Геометрический подсчет 0,516 0,258 0,129 0,065 0,032
Метод Ассимакиса и Адама 0,618 0,236 0,090 0,034 0,021
Метод Столлингса 0,457 0,257 0,157 0,090 0,040
Эти методы считаются основными, но есть и другие подходы. Критический анализ расчета авторского участия в публикации был представлен М. Космульски5, обратившим внимание на тот факт, что фактические лидеры группы нередко оказываются в конце списка авторов. Даже в том случае, когда авторам самим предоставляется возможность распределять первенство по уровню вовлеченности в работу, списки не всегда бывают справедливыми. Он предложил разрабатывать подходы, в которых оценка автора не была бы зависимой от лидера коллектива. Некоторые решения основаны на том, чтобы учитывать предшествующий опыт исследо-
1 Abbas A.M. Weighted indices for evaluating the quality of research with multiple authorship // Scientometrics. - Springer, 2011. - Vol. 88, N 1. - P. 107-131; Egghe L., Rousseau R., Van Hooydonk G. Methods for accrediting publications to authors or countries: Consequences for evaluation studies // Journal of the American society for information science. - John Wiley&sons inc., 2000. - Vol. 51, N 2. - P. 145-157.
Egghe L., Rousseau R., Hooydonk G., van. Methods for accrediting publications to authors or countries: Consequences for evaluation studies // Journal of the American society for information science. - John Wiley&sons inc., 2000. - Vol. 51, N 2. - P. 145-157.
Assimakis N., Adam M. A new author's productivity index: P-index // Scientometrics. - Springer, 2010. - Vol. 85, N 2. - P. 415-427.
4 Determining scientific impact using a collaboration index / Stallings J., Vance E., Yang J., Vannier M.W., Liang J., Pang L., et al. // Proceedings of the National academy of sciences of the United States of America. - Wash., 2013. - Vol. 110, N 24. -P. 9680-9685.
5 Kosmulski M. The order in the lists of authors in multi-author papers revisited // Journal of informetrics. - Elsevier, 2012. - Vol. 6, N 4. - P. 639-644.
вателя, социтирование. Нередко дискуссия возникает в связи с индексом Хирша, так как при его оценке участие автора в публикации имеет большое значение1. Есть также предложения скорректировать индекс Хирша с учетом количества соавторов публикаций. Сам Х. Хирш в 2010 г. в связи с этим предложил особый вариант своего индекса (h-bar-index) (с. 380).
Индикаторы цитирования для журналов. Тема эта весьма популярна среди исследователей, опубликовано уже несколько обзоров литературы, посвященной индикаторам цитирования для журналов, а также вариантам их сравнения2.
Самый известный индикатор цитирования для журналов -импакт-фактор, созданный Ю. Гарфилдом в 1972 г.3 Импакт-фактор журнала рассчитывается как отношение 1:2, где 1 - количество цитирований за год публикаций журнала, вышедших за предыдущие два года, а 2 - общее количество публикаций журнала за предыдущие два года. Если журнал опубликовал 100 статей за 2012 и 2013 гг., а в 2014 г. они были процитированы 200 раз, то импакт-фактор журнала равен 2. Импакт-фактор является показателем средней цитируемости статьи в данном журнале. Однако не все исследователи считают корректным такой подход, поскольку в расчет берутся как цитируемые публикации, так и публикации с нулевым количеством цитат.
В своих работах Ю. Гарфилд не раз рассказывал историю создания индикатора, его интерпретацию и то, как правильно использовать импакт-фактор с точки зрения его создателя4. Детализо-
1 Abbas A.M. Weighted indices for evaluating the quality of research with multiple authorship // Scientometrics. - Springer, 2011. - Vol. 88, N 1. - P. 107-131; Galam S. Tailor based allocations for multiple authorship: A fractional g-h-index // Sci-entometrics. - Springer, 2011. - Vol. 89, N 1. - P. 365-379.
Glänzel W., Moed H.F. Journal impact measures in bibliometric research // Scientometrics. - Springer, 2002. - Vol. 53, N 2. - P. 171-193; Rousseau R. Journal evaluation: Technical and practical issues // Library trends. - John Hopkins univ. press, 2002. - Vol. 50, N 3. - P. 418-439.
Garfield E. Citation analysis as a tool in journal evaluation // Science. - AAAS, 1972. - Vol. 178. - P. 471-479.
4 Garfield E. How can impact factors be improved? // British medical journal. -L., 1996. - Vol. 313. - P. 411; Garfield E. The history and meaning of the journal impact factor // Journal of the American medical association. - John Wiley&sons inc., 2006. - Vol. 295, N 1. - P. 90-93.
ванную историю применения импакт-фактора можно также встретить в других работах, дискуссия по вопросу собрана в обзоре Ю. Бар-Илан1. Один из номеров журнала «Наукометрия» (Sciento-metrics) был полностью посвящен этому вопросу2. Стимулом для этой дискуссии послужила работа Дж. Ванклей, посвященная критическому анализу импакт-фактора3. Большая часть исследований внутри этой дискуссии касается не самого импакт-фактора, а его применения в оценке исследовательской продуктивности. Основной аргумент критиков заключается в том, что показатель эффективности журнала используется для оценки индивидуальной эффективности исследователя.
Нормализованные показатели цитирования для журналов. Показатели цитирования для журналов также нуждаются в нормализации в зависимости от дисциплинарной принадлежности. Для решения этой задачи было предложено большое количество нормализованных показателей. Наиболее простые способы, основанные на журнальном классификаторе ПН, были предложены А. Пудовкиным и Ю. Гарфилдом в 2004 г.4: предложили опираться на импакт-фактор. Если журнал оказывается на десятом месте по импакт-фактору из 200 журналов той же научной области, то он получает ранг 0,95, что свидетельствует о том, что 95% журналов оказались ниже него по рангу (с. 381).
Были и другие предложения, например индикатор цитирования для журналов, нормализованный по научной области, году публикации и типу документа (H.F. Moed et al., 1998) (реальное число цитирований каждой публикации сравнивается со средним числом цитирований для всех публикаций данной научной области, данного года и этого же типа документа); нормализация только по типу документа без учета научной области (R. Mutz, H.D. Daniel,
1 Bar-Ilan J. Informetrics at the beginning of the 21st century - A review // Journal of informetrics. - Elsevier, 2008. - Vol. 2, N 1. - P. 1-52.
2 Braun T. Editorial // Scientometrics. - Springer, 2012. - Vol. 92, N 2. -P. 207-208.
Vanclay J.K. Impact factor: Outdated artefact or stepping-stone to journal certification? // Scientometrics. - Springer, 2012. - Vol. 92, N 2. - P. 211-238.
4Pudovkin A.I., Garfield E. Rank-normalized impact factor: A way to compare journal performance across subject categories // Proceedings of the American society for information science and technology. - Wash., 2004. - Vol. 41, N 1. - P. 507-515.
2012); оценка места публикации в зависимости от числа ее цитирований в общем распределении цитирований внутри дисциплины (L. Leydesdorf, L. Bornmann, 2011).
За последние несколько лет появился совершенно новый подход к нормализации индикатора цитирования для журналов. Он называется «citing-side normalization approach» или «source normalized impact per paper» (SNIP)1. На основе этого подхода осуществляется нормализация индикаторов цитирования для журналов в Скопусе. Оригинальная версия этого индикатора была представлена в 2010 г. (с. 381).
Рекурсивный индикатор цитирования для журналов. Рекурсивный индикатор цитирования придает различный вес цитированиям в зависимости от того, в каких журналах опубликованы цитирующие статьи. Первыми ввести рекурсивный индикатор для журналов предложили Г. Пински и Ф. Нарин в 1976 г.2 Недавно для этих целей был предложен алгоритм «PageRank»3.
Рекурсивный индикатор цитирования для журнала сегодня включен и в JCR, и в Скопус. JCR содержит фактор «eigen» и индикатор влияния статьи, а индикатор ранжирования журналов в SCImago (Скопус) также является рекурсивным. Оба показателя не учитывают цитирования статей, принадлежащие тем же журналам, что и сами публикации.
Индикатор ранжирования журналов (SJR - scientific journal ranking) не только оценивает «вес» цитирований, но и тематическую близость цитирования к оригинальной статье и журналу, в котором она опубликована (с. 382).
В заключение автор дает следующие рекомендации.
1. Не следует вводить новые индикаторы цитирования, пока не будет прояснена их дополнительная ценность по отношению к уже существующим индикаторам.
1 Zitt M., Small H. Modifying the journal impact factor by fractional citation weighting: The audience factor // Journal of the American society for information science and technology. - John Wiley&sons inc., 2QQ8. - Vol. 59, N 11. - P. 1856-186Q.
Pinski G., Narin F. Citation influence for journal aggregates of scientific publications: Theory, with application to the literature of physics // Information processing and management. - 1976. - Vol. 12, N 5. - P. 297-312.
Bollen J., Rodriquez M.A., Van de Sompel H. Journal status // Scientometrics. -Springer, 2QQ6. - Vol. 69, N 3. - P. 669-687.
2. Следует уделять больше внимания теоретической основе индикаторов цитирования. Например, многие индикаторы цитирования, нормализованные по дисциплине, представлены сегодня в литературе, однако не вполне четко прописана математическая основа, стоящая за ними.
3. Следует уделять больше внимания тому, как индикаторы цитирования используются на практике. Важно помнить о практическом применении индикаторов и следить за тем, чтобы индикаторы подходили той ситуации, в которой они применяются.
4. Следует использовать новые базы библиометрической информации, с тем чтобы получить более точный результат измерения индикаторов цитирования.
Еще одна перспектива для исследований - рост численности публикаций открытого доступа. Теперь исследователи могут оперировать не только библиометрическими метаданными, но и самими текстами публикаций. Создание новых текстуальных баз данных требует изобретения более совершенных индикаторов цитирования, например индикаторов, позволяющих оценить, как часто документ цитируется в других публикациях, местоположение цитаты (во введении, методике, результатах или дискуссии), контекст цитирования. Исследователям, работающим в области наукометрии и библиометрии, следует расширять инструментарий для анализа цитирования.
А. Э. Анисимова
2016.04.026. НЕДИЧ О., ДЕКАНЬСКИ А. ПРИОРИТЕТНЫЕ КРИТЕРИИ ПРИ РЕЦЕНЗИРОВАНИИ НАУЧНЫХ СТАТЕЙ. NEDIC O., DEKANSKI A. Priority criteria in peer review of scientific articles // Scientometrics. - Budapest, 2016. - Vol. 107, N 1. - P. 1526. - D0I:10.1007/s11192-016-1869-6.
Ключевые слова: научная рецензия; критерии; бэкграунд рецензента.
Авторов, сотрудников Белградского университета (Сербия), интересует, какие критерии рецензенты считают главными при оценке статьи и влияет ли их бэкграунд (звание, стаж проведения исследований или стаж рецензирования) на выбор этих критериев.
