CC BY
146НАУКА В ЗЕРКАЛЕ НАУКОМЕТРИИ
НАУКОМЕТРИЯ: НЕМНОГО ИСТОРИИ И СОВРЕМЕННЫЕ РОССИЙСКИЕ РЕАЛИИ
Москалёва Ольга Васильевна
Санкт-Петербургский государственный университет, Санкт-Петербург, Россия
Акоев Марк Анатольевич
Уральский федеральный университет
им. первого Президента России Б. Н. Ельцина,
Екатеринбург, Россия
DOI: 10.19181/smtp.2019.1.1.5.
НАУКОМЕТРИЯ: НЕМНОГО ИСТОРИИ И СОВРЕМЕННЫЕ РОССИЙСКИЕ РЕАЛИИ
АННОТАЦИЯ.
Приводится краткая история возникновения и развития наукометрии, описывается практика использования наукометрии для оценки научной деятельности в России. Особый упор делается на проблемы использования конкретных показателей и ошибки в их использовании. Предлагаются возможные варианты использования библиоме-трических показателей, учитывающие международный опыт.
КЛЮЧЕВЫЕ СЛОВА:
наукометрия, библиометрия, оценка научной деятельности, международный опыт
ДЛЯ ЦИТИРОВАНИЯ:
Москалёва О. В., Акоев М. А. Наукометрия: немного истории и современные российские реалии // Управление наукой: теория и практика. 2019. № 1. С. 135-148. йО!: 10.19181/зт1р.2019.1.1.5.
Большинством российских учёных наукометрия воспринимается как новомодное течение, активно внедряемое администраторами от науки. Однако это не совсем или, скорее, совсем не так. Сам термин «наукометрия» появился в середине XX в. с выходом в свет одноименной книги советского статистика В. В. Налимова и З. М. Мульченко [1]. Именно этот термин в его английском варианте — Scientometrics — с тех пор является основным для обозначения большей части исследований о процессах организации научной коммуникации, научного сотрудничества, трендах развития науки, основанных на анализе данных о публикациях, а также о грантах и патентах.
Первые попытки использовать данные о публикациях для оценки научной деятельности были ещё в XIX в., когда прародитель компьютеров Чарльз Бэббидж предложил использовать количество научных публикаций для оценки известности учёного [2]. Уже тогда это предложение было воспринято с известным скепсисом, поскольку никак не учитывалось качество научных статей. Однако для решения проблемы поиска информации в конце 1867 г. появились первые тома каталога научных статей (Catalogue of Scientific Papers), что позволило анализировать статистику по публикациям.
В начале XX в. появился прообраз импакт-фактора, считающегося сейчас основным показателем качества научных журналов [3]. Его появление было связано с необходимостью выбора наиболее качественных журналов для комплектования университетских научных библиотек журналами в области химии. Ценность журнала определялась по количеству его цитирований в журналах Американского химического общества. Позже такой подход был применён и к оценке значимости журналов в других научных областях.
Активное развитие исследований, основанных на анализе публикаций и их цитирований, началось в середине XX в. после появления указателей цитирования [4, 5]. Подробнее обо всём этом можно почитать в книге «Руководство по наукометрии: индикаторы развития науки и технологий» [6].
Любой указатель цитирования построен по сходному принципу, основанному на стандартной структуре научной публикации, содержащей следующую информацию (метаданные), попадающую в соответствующие поля базы данных:
название статьи; авторы;
места работы авторов; ключевые слова; резюме статьи;
указание на источник финансирования исследования;
■ список использованной литературы.
На основании данной информации можно искать статьи в базе данных и/или проводить анализ массивов публикаций как по их тематике, так и по всем индексируемым в базе данным. Таким образом, можно
анализировать данные по авторам, по местам работы (организации, страны), по журналам, в которых опубликованы статьи, источникам финансирования работы и т. д. Такой анализ показывает, какие научные направления характерны для конкретных авторов, организаций, стран, как они взаимодействуют друг с другом, как связаны между собой разные научные направления, можно ли выявить тенденции в развитии науки и многое другое.
Самыми известными и наиболее часто используемыми из международных указателей цитирования сейчас являются Web of Science и Scopus, для нашей страны — РИНЦ (Российский индекс научного цитирования).
На платформе Web of Science размещено множество различных указателей. Основной из них — Web of Science Core Collection, состоящий, в свою очередь, из 4 журнальных указателей (SCI-E, SSCI, AHCI и ESCI), 2 указателей материалов конференций (CPCI-S, CPCI-SSH) и 2 книжных указателей (BKCI-S, BKCI-SSH). Кроме того, в состав Web of Science CC включены указатели химических веществ Index Chemicus и Current Chemical Reactions. Кроме Web of Science CC, на платформе размещены региональные указатели цитирования (RSCI, SciELO Citation Index, KCI-Korean Journal Database, Chinese Citation Index) и специализированные предметные указатели (Biosis Citation Index, Zoological Records, Medline). Следует упомянуть, что на этой платформе есть также база данных, содержащая оглавления множества журналов (Current Contents), указатель патентов (Derwent Innovations Index) и база данных, позволяющая осуществлять поиск по наборам исследовательских данных (Data Citation Index). Следует учитывать, что в большинстве случаев, когда идёт речь о публикациях в Web of Science, имеется в виду Web of Science CC.
В базе данных Scopus индексируются журналы, материалы конференций и книги, но, в отличие от Web of Science, там нет разделения на отдельные базы. Другое отличие состоит в том, что в Scopus журналы индексируются не полностью, как в Web of Science CC, а выборочно, ограничивая контент только научным содержанием — в Scopus нет биографических юбилейных заметок и некрологов, информационных сообщений о мероприятиях, тезисов конференций и некоторых иных типов публикаций. Кроме того, при размещении материалов из многоязычных журналов не будут индексироваться статьи, в которых отсутствует основная информация (метаданные) на английском языке — название статьи, авторы, аннотация, ключевые слова.
РИНЦ создан на основе полнотекстовой базы данных Научной электронной библиотеки eLibrary.RU, появившейся в 1999 г. для обеспечения научной информацией грантодержателей РФФИ. Этим и определяется его основное отличие от зарубежных аналогов — интеграция с полными текстами, что позволяет реализовать, например, контекстный поиск и представление контекстной информации в списках процитированной литературы в описаниях статей. В настоящее время в РИНЦ включены журналы как с полными текстами, так и только с метаданными. Детально с историей его создания и современным состоянием можно ознакомиться либо на самом сайте eLibrary, либо в статье [7].
Можно также упомянуть свободные ресурсы Google Scholar, Microsoft Academics и другие, которые также позволяют осуществлять поиск и анализ
информации, хотя и сильно ограниченный по сравнению с вышеуказанными базами данных. Значительно более интересным является появившийся в 2018 г. новый ресурс Dimensions от компании Digital Science, который в части научных публикаций является свободным ресурсом для всех пользователей (https://www.dimensions.ai/). Подписчикам доступна также информация о грантах, клинических испытаниях и патентах.
На основании данных, содержащихся в указателях цитирования, может быть рассчитано большое количество разнообразных показателей, характеризующих как журналы, так и авторов и представляемые ими организации и страны.
На основании данных Web of Science CC рассчитываются импакт-факто-ры журналов, представляющие собой не что иное, как среднее цитирование в определённом году статей, опубликованных в журнале за 2 предыдущих года. При этом для расчёта используются все имеющиеся в базе данных ссылки, но их количество делится на количество так называемых «citable items», т. е. не учитываются такие типы публикаций, как информационные сообщения о мероприятиях, биографические заметки, рецензии и т. д. Следует иметь в виду, что импакт-факторы рассчитываются только для журналов, индексируемых в SCI-E и SSCI, для журналов гуманитарного профиля (AHCI) и журналов, индексируемых в ESCI, эти показатели не рассчитываются. В Journal Citation Reports представлены и другие показатели, которые при комплексном анализе могут дать более полное представление о качестве журнала.
В Scopus в настоящее время основным журнальным показателем является CiteScore, который отличается от импакт-фактора трёхлетним окном цитирования. На основании данных Scopus рассчитываются и другие журнальные показатели — SCImago Journal Rank [8] и SNIP [9,10], что также позволяет оценивать журналы более комплексно [11].
Для авторов, организаций и стран наиболее часто употребляемыми являются самые простые показатели — количество публикаций и цитирований, а также индекс Хирша [12—14]. Эти простые показатели дают возможность сравнивать продуктивность сходных объектов — например, учёных одного возраста, работающих в одной узкой области. Для сравнения разных областей разработаны нормализованные показатели, которые учитывают тип публикации (обзорные статьи, например, всегда цитируются больше, чем обычные), научную область (медицина цитируется больше, чем история или математика), дату публикации (старые статьи могут быть процитированы большее количество раз, чем только что вышедшие) и т. д. [15]. Для этого для каждой узкой области рассчитывается средний показатель для статей определённого типа, вышедших в определённый год и далее, количество
и и m
цитирований конкретной статьи делится на соответствующее среднее. Т. е. если данный нормализованный показатель равен 1, то статья цитируется так же, как в среднем по миру, если больше — то лучше, меньше — хуже. Усредняя рассчитанные показатели статей для конкретного учёного, организации или страны, можно делать выводы о том, насколько различается качество (цитируемость) статей анализируемых объектов. В аналитических ресурсах, связанных с Web of Science, данный показатель называется
Category Normalized Citation Impact (CNCI), для ресурсов, основанных на Scopus, — Field-Weighted Citation Impact (FWCI). Несмотря на принципиальное сходство этих показателей, некоторые особенности расчёта имеются, поэтому сравнивать, как и во всех других случаях, можно только показатели, сформированные по конкретной базе данных.
Возможность выявления лидеров по количеству публикаций и их цитированию широко используется во всем мире, однако далеко не всегда учитываются очень важные аспекты, что может исказить картину и свести на нет все попытки использования библиометрии для оценки научной и научно-технической деятельности. Необходимо принимать во внимание значительные различия в цитировании первоисточников в разных научных направлениях, количество соавторов публикаций, возраст авторов, размеры и профиль сравниваемых организаций и т. д.
Некорректное использование только простых показателей цитирования и количества публикаций вызывает недоверие к библиометрии со стороны научного сообщества и приводит к существенным ошибкам в оценке научной деятельности организаций и учёных, чреватым непредсказуемыми последствиями. Кроме того, даже самое корректное использование библиоме-трических показателей не может заменить экспертную оценку. Она необходима, во-первых, для выбора экспертами адекватных показателей в области наукометрии и, во-вторых, для содержательной экспертизы специалистами в предметных областях, знающими текущее состояние науки, а не ограничивающимися данными, которые отстают от современного состояния.
За последнее время введено в оборот довольно большое количество би-блиометрических показателей, учитывающих как особенности различных областей науки, так и другие важные аспекты — тип, время и место публикации статей, количество авторов и их аффилиации, однако большинство этих показателей рассчитываются гораздо сложнее, чем просто количество публикаций и их цитирований, и доступны только при наличии подписки на специализированные аналитические ресурсы, такие как InCites или SciVal. Тем не менее именно такие нормализованные показатели используются в большинстве рейтингов университетов и научных организаций [16, 17].
Оценка научной деятельности требует чёткого определения цели. Цель научно-технологического развития Российской Федерации определяет Стратегия — это обеспечение независимости и конкурентоспособности страны [18]. Формулировка цели в Стратегии определяет, что оценки строятся на основе сравнения с показателями, достигнутыми в мире и в странах-конкурентах. Выбор стран-конкурентов для сравнения количественных и качественных показателей научной деятельности индивидуален для каждого направления фундаментальных исследований.
Критерием выбора стран является связь фундаментального направления с решением практических задач для ответов на большие вызовы. Шесть тематических групп, определённых в классификации OECD [19], структурируют потребителей научных результатов. Это естественные, инженерные, медицинские, сельскохозяйственные, социальные и гуманитарные науки. При проведении оценок необходимо учитывать особенности каждой
из шести областей и, при необходимости, и различия направлений исследований внутри области. Проводить оценку организаций нужно по каждой из областей, в которых у неё есть результаты, и строить интегральную оценку организации как композитную оценку деятельности по тематикам.
Применение наукометрических способов оценки гуманитарного знания требует особого отношения в силу существенной доли книжных результатов по сравнению с журнальными публикациям для других наук, а также значительной растянутости во времени процессов научной коммуникации: то, что происходит в остальных пяти областях за десять лет, в гуманитарной сфере происходит в течение столетий [20]. Индексы цитирования книг позволяют оценивать результаты в области гуманитарного знания более адекватно, чем только журнальные указатели цитирования. Также область гуманитарного знания, обслуживая сферу потребностей духа и развлечения, может сравниваться глобально с учётом национальных особенностей, т. к. развлечения универсальны. Существенная роль неанглоязычных публикаций для оценки социально-гуманитарного знания нашла свое отражение, например, в Хельсинкской инициативе [21].
Внедрение показателей публикационной активности в качестве целевых показателей научной деятельности организаций, а именно — требование к организациям собирать показатели научной результативности на основе данных индексов цитирования, в статистике, мониторинге и оценки результативности научной деятельности организаций, оказывает как положительное, так и отрицательное влияние на развитие науки. С одной стороны, это привело к увеличению как количественных, так и качественных показателей российских организаций. Возросла доля внутрироссийского научного взаимодействия, прежде всего между вузами и институтами РАН [22]. Увеличилось число опубликованных статей на уровне всей страны и статей в журналах первого квартиля в Web of Science по импакт-фактору [23].
С другой стороны, упор в оценке только на такие наукометрические показатели, как число публикаций организации в источниках, проиндексированных в индексах цитирования, приводит к работе на достижение высоких показателей в ущерб качеству результата. В качестве примера можно привести Казахстан, увеличивший свои показатели за счёт публикаций в изданиях, которые в последующем исключались из Scopus за систематическое нарушение издательской этики. Примеры такой практики наблюдаются и в российских организациях.
Ещё в 2012 г. была принята Сан-Францисская декларация по оценке научной деятельности [24], призывающая, в том числе, не использовать значение импакт-фактора журнала для оценки качества статей. Для получения оценки, адекватной поставленной цели, необходимо привлекать экспертов, которые своим мнением могут компенсировать несовершенство формальных показателей и будут давать оценку с учётом особенностей оцениваемых учёных, коллективов и организаций. Первым пунктом Лейденского манифеста [25] сообщество профессиональных наукометристов рекомендует дополнять экспертное мнение наукометрической оценкой. Аналогичная декларация была принята в качестве итогового документа 7-й Международной научно-практи-
ческой конференции «Научное издание международного уровня — 2018: редакционная политика, открытый доступ, научные коммуникации» [26].
Для некоторых областей социального и гуманитарного знания составить статистически достоверную оценку за период один — два года затруднительно. Однако для таких областей можно отбирать экспертов на основе их наукометрических оценок.
Вопрос соотношения формальных и экспертных оценок в контексте целей развития системы учебных и научных организаций исследовался в Великобритании при разработке национальной системы оценки REF. Была показана большая корреляция между наукометрическими оценками и мнением экспертов, однако вопрос о переходе только на наукометрические оценки не ставится.
Практика формирования критериев и методов их сбора в РФ вызывает вопросы. Например, в приказе Минобрнауки РФ от 05.03.2014 г. № 162 «Об утверждении порядка предоставления научными организациями...», на основании которого собираются данные для мониторинга, в качестве одной из баз указывается Google Scholar, по которому принципиально невозможно получить число публикаций организации, так как в нем понятие профиля организации отсутствует. Также весьма проблематично указать количество публикаций в журналах ERIH Plus, поскольку это даже не база публикаций, а просто список журналов. Практически невозможно отнесение публикаций к одной из предложенных тематик, так как классификатор, используемый Web of Science (Сеть науки), не эквивалентен используемому в рамках мониторинга. Создатели (или заказчики) программного обеспечения, используемого при сборе данных, не знают, вероятно, что количество публикаций, индексируемых в Web of Science и Scopus, не является суммой публикаций в каждой базе по отдельности, а также того, что большая часть публикаций может быть отнесена к нескольким предметным областям, поскольку система требует, чтобы сумма числа публикаций по тематике была равна общему числу статей. Требования подсчета суммарного импакт-фактора публикации ставит в заведомо проигрышное положение представителей гуманитарных наук, для журналов которых импакт-фактор не рассчитывается в силу его статистической недостоверности за период расчёта показателя. Да и в целом данный показатель мало что показывает.
Исключить ошибки и манипуляции в собираемых значениях можно, введя централизованный сбор показателей для организаций и авторов профессионалами, на основании представленных организациями профилей вузов (AF-ID в Scopus, Organization-enhanced в Web of Science) либо подробных поисковых запросов с вариантами названий организации или идентификаторами авторов (ORCID и Researcher ID) с возможностью проверки используемой информации самими оцениваемыми.
Для преодоления проблемы некорректных метрик необходимо вводить наукометрические показатели только по результатам обсуждения со специалистами в области наукометрии и с опорой на международный опыт.
В качестве набора метрик возможно, например, присоединение к инициативе Snowball Metrics [27] с адаптацией к российской специфике. Метрики в проекте измеряют не только сферу наукометрических показате-
лей, но и учитывают показатели научно-технической деятельности, а также социальный аспект популяризации научных и технологических достижений.
Проект Snowball Metrics зародился в 2010 г. в Великобритании в результате совместной работы восьми университетов, активно занимающихся научными исследованиями (на эти восемь университетов приходится практически половина всех исследований в Соединенном Королевстве). Его целью была выработка единых критериев и показателей для сравнения организаций, что является важной задачей управления научно-исследовательскими организациями. Использование согласованных метрик обеспечило бы корректность проведения сравнительного анализа. Параметры Snowball Metrics рассчитываются на основании широкого набора данных, как собственных, так и предоставляемых сторонними организациям, но что самое важное — метрики универсальны и могут быть использованы для сравнения, вне зависимости от выбранного источника данных. Для широкого использования метрик в качестве дополнения к экспертной оценке необходимо решить ряд вопросов, связанных с методом расчёта этих показателей, корректностью их сравнения, сбором и отображением данных. Метрики должны соответствовать предметной дисциплине и иметь проверенный и согласованный алгоритм расчёта, что и воплощено в Snowball Metrics. Показатели Snowball Metrics были созданы для всего спектра научно-исследовательской деятельности, они доступны бесплатно и могут быть рассчитаны на любом индексе цитирования [11]. Важной особенностью Snowball Metrics является то, что они рассчитываются без участия организаций, на основании собранных и проверенных организациями данных в рамках предоставления статистических отчётов.
Адаптация Snowball Metrics подразумевает дополнение и переформулировку системы статистических показателей, собираемых с организаций, а также открытие данных грантовых фондов и предоставление возможности использовать для отчётности новые проверенные источники. Большую часть используемых в Snowball Metrics показателей можно легко адаптировать для РФ, тем более при наличии национальной подписки на Scopus и Web of Science.
Оценка научных коллективов и отдельных учёных должна проводиться только экспертами, и наукометрическая информация должна быть вспомогательной. Данные для оценки желательно получать по списку идентификаторов авторов ORCID и Researcher ID, для чего необходимо инициировать массовую регистрацию авторов в указанных системах с обязательным поддержанием актуального состояния авторских профилей.
Таким образом, корректное использование указателей цитирования и би-блиометрических показателей помогает учёным и администраторам науки:
■ находить адекватную информацию по исследуемой тематике с возможностью детального анализа по авторам, организациям, странам и т. д.;
■ обдуманно выбирать журналы для публикации результатов собственных исследований;
■ анализировать актуальные направления исследований и взаимосвязи между различными направлениями;
■ получать вспомогательные объективные данные для оценки результатов исследований. Ну и самое главное: при использовании различных наукометрических показателей типа количества публикаций или цитирований в качестве целевых показателей развития науки следует помнить о законе Гудхартда, гласящем, что когда показатель становится целью для проведения политики, прежние эмпирические закономерности, использующие данный показатель, перестают действовать [28].
ЛИТЕРАТУРА
1. Налимов В. В., Мульченко З. М. Наукометрия. Изучение развития науки как информационного процесса. М: Наука, 1969. 192 с.
2. Csiszar A. The catalogue that made metrics, and changed science // Nature. 2017. Vol. 551. № 7679. P. 163-165.
3. Gross P. L., Gross E. M. College libraries and chemical education // Science. American Association for the Advancement of Science. 1927. Vol. 66. № 1713. P. 385-389.
4. Garfield E. Science Citation Index // Sci. Cit. Index. 1961. Vol. 1. P. 5-16.
5. Garfield E. Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas // Science. American Association for the Advancement of Science. 1955. Vol. 122. № 3159. С. 108-111.
6. Руководство по наукометрии: индикаторы развития науки и технологий / [М. А. Акоев, В. А. Маркусова и др.]; под. ред. М. А. Акоева. Екатеринбург: Издательство УрФУ, 2014. 250 c. DOI: 10.15826/B978-5-7996-1352-5.0000.
7. Moskaleva O. Russian index of Science citation: Overview and review / O. Moskaleva, V. Pislyakov, I. Sterligov, M. Akoev, S. Shabanova // Scientometrics. Springer Netherlands. 2018. Vol. 116. № 1. P. 449-462.
8. González-Pereira B., Guerrero-Bote V. P., Moya-Anegón F. A new approach to the metric of journals scientific prestige: The SJR indicator // J. Informetr. 2010. Vol. 4. № 3. P. 379-391.
9. Moed H. F. Measuring contextual citation impact of scientific journals // J. Informetr. 2010. Vol. 4. № 3. P. 265-277.
10. Guerrero-Bote V., Moya-Anegón F. A further step forward in measuring journals' scientific prestige: The SJR2 indicator // J. Informetr. 2012. Vol. 6. № 4. P. 674-688.
11. Пополнение в семействе. Наукометрических показателей становится все больше. [Электронный ресурс] // Поиск — новости науки и техники. 2017. № 9-10. URL: https://www.poisknews.ru/magazine/22830/ (дата обращения: 09.07.2019).
12. Hirsch J. E. An index to quantify an individual's scientific research output that takes i nto account the effect of multiple coauthorship // Scientometrics. 2010. Vol. 85. № 3. P. 741-754.
13. Alonso S. H-Index: A review focused in its variants, computation and standardization for different scientific fields / S. Alonso, F. J. Cabrerizo, E. Herrera-Viedma, F. Herrera // Journal of Informetrics. 2009. Vol. 3. № 4. P. 273-289.
14. Hirsch J. E. An index to quantify an individual's scientific research output // Proc. Natl. Acad. Sci. National Academy of Sciences. 2005. Vol. 102. № 46. P. 16569-16572.
15. Moed H. F. CWTS crown indicator measures citation impact of a research group's publication oeuvre // Journal of Informetrics. 2010. Vol. 4. № 3. P. 436-438.
16. QS World University Rankings — Methodology [Электронный ресурс] // Top Universities: [веб-сайт]. URL: https://www.topuniversities.com/qs-world-university-rankings/methodology (дата обращения: 09.07.2019).
17. World University Rankings 2019: methodology [Электронный ресурс] // Times Higher Education (THE): [веб-сайт]. URL: https://www. timeshighereducation.com/world-university-rankings/methodology-world-university-rankings-2019 (дата обращения: 09.07.2019).
18. Указ Президента Российской Федерации от 01.12.2016 г. № 642 [Электронный ресурс] // Президент России: [веб-сайт]. URL: http://kremlin.ru/acts/ bank/41449 (дата обращения: 09.07.2019).
19. Frascati Manual 2015 [Электронный ресурс]// OECD: [веб-сайт]. 2015. URL: https://www.oecd.org/publications/frascati-manual-2015-9789264239012-en.htm (дата обращения: 09.07.2019).
20. Коллинз Р. Социология философии: глобальная теория интеллектуального изменения / Р. Коллинз. Пер. с англ. Н. С Розова, и Ю. Б. Вертгейм. Новосибирск: Сибирский хронограф, 2002. 1282 c.
21. Helsinki Initiative on Multilingualism in Scholarly Communication [Электронный ресурс] // Helsinki-initiative.org: [веб-сайт]. URL: https://www. helsinki-initiative.org/ (дата обращения: 09.07.2019).
22. Moed H. F., Markusova V., Akoev M. Trends in Russian research output indexed in Scopus and Web of Science // Scientometrics. 2018. Vol. 116. № 2. P. 1153-1180.
23. Стерлигов И. Пятилетка невиданного роста: библиометрические макроиндикаторы 2012-2016 годов [Электронный ресурс] // Троицкий вариант. Наука. 2017. № 227. С. 4. URL: http://trv-science.ru/2017/04/25/pyatiletka-nevidannogo-rosta/ (дата обращения: 09.07.2019).
24. San Francisco Declaration on Research Assessment [Электронный ресурс] // DORA: [веб-сайт]. 2012. URL: https://sfdora.org/read/ (дата обращения: 09.07.2019).
25. Hicks D. et al. The Leiden Manifesto for research metrics // Nature. 2015. Vol. 520. P. 429-431. DOI: 10.1038/520429a.
26. Библиометрия во благо российской науки [Электронный ресурс] // АНРИ: [веб-сайт]. URL: https://rasep.ru/sovet-po-etike/bibliometriya-vo-blago-rossijskoj-nauki (дата обращения: 09.07.2019).
27. Snowball Metrics [Электронный ресурс] // Snowball Metrics: [веб-сайт]. URL: https://www.snowballmetrics.com/ (дата обращения: 09.07.2019).
28. Goodhart C. A. E. Problems of Monetary Management: The UK Experience // Monetary Theory and Practice. Palgrave. London: Macmillan Education UK, 1984. P. 91-121. DOI: https://doi.org/10.1007/978-1-349-17295-5_4.
Статья поступила в редакцию 23.07.19
SCIENTOMENTRICS: A LITTLE BIT OF HISTORY AND MODERN RUSSIAN REALITIES
Olga V. Moskaleva
Mark A. Akoev
Saint-Petersburg State university, St-Petersburg, Russian Federation
Ural Federal University named after the first President of Russia B. N. Yeltsin , Ekaterinburg, Russian Federation
DOI: 10.19181/smtp.2019.1.1.5.
Abstract. The article describes briefly the history of scientometrics and practical issues of research evaluation by bibliometric indicators in Russian Federation. The special attention is paid for main problems of of using specific bibliometric indicators and errors in their use. Possible options for the use of bibliometric indicators, taking into account international experience, are proposed.
Keywords: scientometrics, bibliometrics, research evaluation, international experience
For sitation: Moskaleva O., Akoev M. (2019). Scientomentrics: a little bit of history and modern Russian realities. Upravlenie naukoj: teoriya i praktika. No 1. P. 135-148. DOI: 10.19181/smtp.2019.1.1.5.
REFERENCES
1. Nalimov, V., Mulchenko Z. (1969). Naukometriya [Scientometrics]. Moscow, Nau-ka. 192 p. (In Russ).
2. Csiszar, A. (2017). The catalogue that made metrics, and changed science. Nature. Vol. 551. No 7679. P. 163-165. doi: 10.1038/551163a.
3. Gross, P., Gross, E. (1927). College libraries and chemical education. Science (New York, N.Y.). American Association for the Advancement of Science. Vol. 66. No. 1713. P. 385-389. doi: 10.1126/science.66.1713.385.
4. Garfield, E. (1961). Science Citation Index. Science Citation Index. Vol. 1. P. 5-16.
5. Garfield, E. (1955). Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas. Science. American Association for the Advancement of Science. Vol. 122. No. 3159. P. 108-111. doi: 10.1126/science.122.3159.108.
6. Akoev, M. et al. (2014). Rukovodstvo po naukometrii: indikatori razvitiia naukii tehnologii [Guide to Scientometrics: Indicators of the Development of Science and Technology]. Edited by M. A. AKoeB. UrFU. doi: 10.15826/B978-5-7996-1352-5.0000. 250 p. (In Russ).
7. Moskaleva, O. et al. (2018). Russian index of Science citation: Overview and review. Scientometrics. Springer Netherlands. Vol. 116. No. 1. P. 449-462. doi: 10.1007/s11192-018-2758-y.
8. González-Pereira, B., Guerrero-Bote, V. and Moya-Anegón, F. (2010). A new approach to the metric of journals scientific prestige: The SJR indicator. Journal of Infor-metrics. P. 379-391. doi: 10.1016/j.joi.2010.03.002.
9. Moed, H. (2010). Measuring contextual citation impact of scientific journals. Journal of Informetrics. Vol. 4. No. 3. P. 265-277. doi: 10.1016/j.joi.2010.01.002.
10. Guerrero-Bote, V. P. and Moya-Anegón, F. (2012). A further step forward in measuring journals' scientific prestige: The SJR2 indicator. Journal of Informetrics. Vol. 6. No. 4. P. 674-688. doi: 10.1016/j.joi.2012.07.001.
11. Addition to the family. There are more and more scientific indicators. POISK — science and technology news. No. 9-10. 2017. URL: https://www.poisknews.ru/maga-zine/22830/ Accessed — 9 July 2019. (In Russ)
12. Hirsch, J. E. (2010). An index to quantify an individual's scientific research output that takes into account the effect of multiple coauthorship. Scientometrics. Vol. 85. No. 3. P. 741-754. doi: 10.1007/s11192-010-0193-9.
13. Alonso, S. et al. (2009). H-Index: A review focused in its variants, computation and standardization for different scientific fields. Journal of Informetrics. Vol. 3. No. 4. P. 273-289. doi: 10.1016/j.joi.2009.04.001.
14. Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences. National Academy of Sciences. Vol. 102. No. 46. P. 16569-16572. doi: 10.1073/PNAS.0507655102.
15. Moed, H. (2010). CWTS crown indicator measures citation impact of a research group's publication oeuvre. Journal of Informetrics. Vol. 4. No. 3. P. 436-438. doi: 10.1016/j.joi.2010.03.009.
16. QS World University Rankings — Methodology. Top Universities (19.06.2019). URL: https: //www.topuniversities.com/qs-world-university-rankings/methodology / Accessed — 9 July 2019.
17. World University Rankings 2019: methodology. Times Higher Education (THE) (no date). URL: https://www.timeshighereducation.com/world-university-rankings/ methodology-world-university-rankings-2019 / Accessed — 9 July 2019.
18. Decree of the President of the Russian Federation 01.12.2016 r. № 642 (no date). URL: http://kremlin.ru/acts/bank/41449 /Accessed — 9 July 2019. (In Russ)
19. Frascati Manual 2015 (2015). OECD (The Measurement of Scientific, Technological and Innovation Activities). URL: https://www.oecd.org/publications/ frascati-manual-2015-9789264239012-en.htm // Accessed — 9 July 2019. doi: 10.1787/9789264239012-en.
20. Collins R. (1998). The Sociology of Philosophies: A Global Theory of Intellectual Change. Harvard University Press. 1120 p.
21. Helsinki Initiative on Multilingualism in Scholarly Communication. | Helsin-ki-initiative.org (no date). URL: https://www.helsinki-initiative.org/ Accessed — 9 July 2019.
22. Moed, H. F., Markusova, V. and Akoev, M. (2018). Trends in Russian research output indexed in Scopus and Web of Science. Scientometrics. Vol. 116. No. 2. P. 1153-1180. doi: 10.1007/s11192-018-2769-8.
23. Sterligov, I. (2017). Five Years of Unprecedented Growth: Bibliometric Macro Indicators 2012-2016. Troitsky Variant — Nauka. No. 227. P. 4. URL: http://trv-science. ru/2017/04/25/pyatiletka-nevidannogo-rosta/ Accessed — 9 July 2019. (In Russ)
24. San Francisco Declaration on Research Assessment (2012). URLt: https://sfdora. org/read/ Accessed — 9 July 2019.
25. Hicks, D. et al. (2015). The Leiden Manifesto for research metrics. Nature. Vol. 520. P. 429-431.
26. Bibliometrics for the benefit of Russian science (no date). URL: https://rasep.ru/ sovet-po-etike/bibliometriya-vo-blago-rossijskoj-nauki /Accessed — 15 July 2019. (In Russ)
27. Snowball Metrics — Standardized research metrics — by the sector for the sector Snowball Metrics (no date). URL: https://www.snowballmetrics.com/ Accessed — 9 July 2019.
28. Goodhart, C. (1984). Problems of Monetary Management: The UK Experience. Monetary Theory and Practice. London: Macmillan Education UK, P. 91-121. doi: 10.1007/978-1-349-17295-5_4.
The paper was submitted 23. 07.19
