CC BY
161УДК 025.4.03: 001.8
DOI: 10.31249/scis/2022.01.10
Малахов В.А. *
БИБЛИОМЕТРИЧЕСКИЙ АНАЛИЗ КАК МЕТОД НАУКОВЕДЧЕСКИХ ИССЛЕДОВАНИЙ: ВОЗМОЖНОСТИ И ОГРАНИЧЕНИЯ
Malahov V.A.
BIBLIOMETRIC ANALYSIS AS A METHOD OF SCIENTIFIC RESEARCH: OPPORTUNITIES AND LIMITATIONS
Аннотация. В статье дан обзор использования библиометри-ческого анализа в современных науковедческих исследованиях, проанализированы его возможности и ограничения. Отмечено, что рост интереса к количественным исследованиям в области науковедения в значительной степени связан с развитием международных наукометрических баз данных, агрегирующих огромные массивы данных о научных публикациях. Проанализированы возможности современных библиометрических систем (таких, как Scopus, Web of Science, Google Академия, РИНЦ), выявлены основные направления исследований, в которых используются библиометрические методы. Чаще всего библиометрический анализ используется для создания библиографических обзоров, выявления технологических трендов, прогнозирования направления развития исследований и разработок отдельных научных областей. Также он используется при исследованиях, посвященных академической мобильности,
* © Малахов Вадим Александрович - кандидат исторических наук, старший научный сотрудник, заведующий отделом науковедения ИИЕТ РАН, Москва, Россия (yasonbh@mail.ru)
Malahov Vadim - candidate of history, senior researcher, head of the department, S.I. Vavilov Institute for the History of Science and Technology of the RAS, Moscow, Russia (yasonbh@mail.ru)
этическим проблемам современной науки, тендерным особенностям научного сообщества. Ограничения данного подхода разделены на две группы: 1) «барьеры входа», препятствующие использованию возможностей библиометрии всеми специалистами; 2) «врожденные болезни» современных наукометрических баз данных, ограничивающие применение библиометрии в некоторых областях на-уковедческих исследований. Сделан вывод о перспективности использования библиометрического анализа в науковедческих исследованиях (в сочетании с другими, в том числе качественными методами).
Ключевые слова: библиометрия; наукометрия; методология исследования; индекс цитирования; количественные исследования; науковедение; библиометрические базы данных.
Abstract. The article gives an overview of the use of bibliometric analysis in modern scientific research, analyzes its possibilities and limitations. It is noted that the growth of interest in quantitative research in the field of science is largely due to the development of international scientometric databases that aggregate vast amounts of data on scientific publications. The capabilities of modern bibliometric systems (such as Scopus, Web of Science, Google Academy, RSCI) were analyzed. Bibliometric analysis is most often used to create bibliographic reviews, to identify technological trends, to predict the direction of research and development of individual scientific fields. It is also used in studies on academic mobility, ethical problems of modern science, gender characteristics of the scientific community. The limitations of this approach are divided into two groups: 1) «entry barriers», which prevent all specialists from using the capabilities of bibliometrics, and 2) «inherent diseases» of modern scientometric databases, which limit the use of bibliometrics in some areas of scientometric research. It is concluded that the use of bibliometric analysis in scientific research is promising (in combination with other methods, including qualitative ones).
Keywords: bibliometrics; scientometrics; research methodology; citation index; quantitative research; science studies; bibliometric databases.
Введение
Хотя библиометрические методы исследования зародились много столетий назад [Лазарев, 2020], в последние десятилетия наблюдается взрывной рост интереса к библиометрии в России и мире, что связано с созданием международных библиометриче-ских (библиографических) баз данных и поисковых систем, расширением их возможностей, а также со все более активным применением библиометрических показателей для оценки научной деятельности и управления наукой. Активно практикующийся сегодня в России и мире подход к оценке результатов научной деятельности на основе формальных количественных показателей вместо качественной экспертизы вызывает недовольство у значительной части ученых [Прикладная наукометрия ..., 2019], а в определенных научных кругах даже простое упоминание библиометрии или наукометрии может вызвать гнев и раздражение. Однако библиометрический подход используется не только в подобном прикладном назначении, но и как набор методов при проведении науковедческих исследований самых различных направлений.
Что же такое библиометрия? Согласно определению ОЭСР, библиометрия - это применение математических и статистических методов к изучению книг, периодических изданий и прочих публикаций. Исследователи не раз отмечали частичное пересечение таких понятий, как библиометрия, наукометрия и инфометрия [Лазарев, 2020; Лазарев, 2021а; Лазарев, 2021б; Лазарев, 2022]. В данной работе мы рассматриваем библиометрию как подраздел наукометрии, который имеет дело с такими показателями, как количество публикаций, индекс Хирша, количество цитирований и т.д. Наукометрия - более широкое понятие. Так, в наукометрических исследованиях помимо библиометрических показателей могут использоваться другие статистические показатели, например, характеризующие кадровый потенциал науки (количество исследователей на 1 тыс. человек населения страны и др.) или ее материальное обеспечение (внутренние затраты на исследования и разработки и др.). В данной работе мы рассмотрим основные возможности и ограничения использования в науковедческих иссле-
дованиях именно библиометрических методов, а точнее - анализа данных современных библиометрических систем.
Библиометрический анализ и базы данных
Развитие количественных науковедческих исследований в последние десятилетия во многом обусловлено доступностью современных библиометрических баз данных, предоставляющих информацию о публикациях и их цитировании. Библиометрическая (библиографическая) база данных (также база данных научного цитирования или реферативная база данных научных публикаций) -это база данных, содержащая библиографическую информацию о научных публикациях и позволяющая отслеживать их цитирование. Сегодня существует довольно большое количество различных сервисов и платформ, выполняющих функции библиометрических баз данных. Самые крупные и авторитетные из них - это Web of Science (далее WoS), Scopus и Google Академия (Google Scholar). Для России важную роль играет Российский индекс научного цитирования (РИНЦ), действующий на базе портала eLibrary.ru. Каждая из существующих баз данных обладает своими особенностями, набором функций, возможностями и ограничениями. Так, хотя в Google Академии ограничен по сравнению с WoS или Scopus набор встроенных аналитических функций, это - бесплатный продукт, который охватывает большое количество документов (что в зависимости от задач науковедческого исследования может быть как плюсом, так и минусом). Библиометрические базы данных позволяют исследователям-науковедам анализировать научную литературу (а через нее и научное сообщество) по целому ряду количественных показателей, например, количество публикаций, цитирований, количество соавторств, комплексные производственные показатели (индекс Хирша, импакт-фактор и др.). При этом анализ можно вести в различных разрезах: по научным областям, по организациям, в хронологическом разрезе, географическом разрезе, по типам публикаций и т.д.
Современные библиометрические базы данных содержат уникальную статистическую информацию о научном сообществе, ранее не собираемую ни одним статистическим ведомством. Их появление дало толчок к развитию количественных (наукометри-
ческих) исследований науки. Библиометрический анализ (иногда его также называют «библиометрический подход» или «анализ библиометрических данных») включает целый набор методов, основанных на анализе данных современных библиометрических систем, и используется представителями самых разных научных направлений, в том числе историками и социологами науки, исследователями в области экономики знаний. Область применения метода весьма широка - библиометрические обзоры, форсайты, выявление трендов развития различных направлений науки, исследования мобильности ученых, их участия в международных коллаборациях и пр.
О резком росте популярности использования библиометри-ческого анализа как метода исследования в самых различных областях науки говорят статистические данные. Так, если в 2001 г. в системе WoS было проиндексировано всего 23 публикации, где в названии, ключевых словах или аннотации упоминался библио-метрический анализ (поисковый запрос «bibHometric analysis» по полю «Тема»), то в 2021 г. было проиндексировано уже 2697 таких публикаций (рис. 1). Таким образом, за 20 лет количество статей, написанных с использованием библиометрического анализа (или описывающих его), выросло более чем в 100 раз. Аналогичные результаты дает поиск статей в системе Scopus (рост с 220 публикаций в 2012 г. до 3154 публикаций в 2021 г.).
Рис. 1. Количество публикаций WoS, где в названии, ключевых словах или аннотации которых упоминался библиометрический анализ, с 2012 по 2021 г.
Источник: рассчитано автором на основе данных Web of Science
Библиометрический анализ в науковедческих исследованиях
Возможности применения библиометрического анализа в науковедческих исследованиях весьма многообразны. Чаще всего данный метод используется при написании библиометрических и библиографических обзоров. Поиск статей по ключевым словам в библиометрических базах данных (например, по названиям технологий или исследовательских методологий) позволяет выявлять публикационные тренды, тенденции развития отдельных отраслей знания или использования в тех или иных отраслях деятельности конкретных групп технологий [Малахов, Хохлов, Шапошник, 2021]. Как правило, такие исследования проводятся не столько науковедами (т.е. специалистами в области истории, социологии науки или экономики знаний), сколько представителями тех научных направлений, к которым применяется библиометрический анализ. Результаты подобных исследований также чаще всего публикуются в специализированных журналах, посвященных конкретным областям науки. При этом даже сегодня библиометриче-ский анализ не всегда проводится на данных крупнейших международных систем цитирования, подобные аналитические обзоры могут быть основаны, например, на данных предметных указателей реферативных журналов [Сбитнева, Дворовенко, 2020].
В обобщенном виде библиометрический анализ в подобных статьях, как правило, состоит из (1) создания выборки статей с помощью различных фильтров (при поиске в базах данных используются ограничения по годам, ключевым словам и журналам) и (2) анализа полученной выборки на предмет изменения количества публикаций и цитирований, изменения тематики и географии публикаций, выявления тематических кластеров, а также паттернов соавторства, сравнения параметров полученной выборки с общим массивом документов (по стране, области науки) и т.д.
В последние годы популярным направлением использования библиометрического и сетевого подхода является анализ коллабо-
раций (соавторств) ученых. Он позволяет определить направления международного научного сотрудничества, проанализировать структуру научного сообщества, выявить профессиональные связи как между отдельными учеными, так и между крупными научными коллективами или исследовательскими организациями.
Для визуализации полученных в результате библиометрического анализа данных часто используются такие специальные программные средства, как VOSviewer (рис. 2).
Рис. 2. Пример визуализации результата анализа соавторств в программе VOSviewer
Источник: https://www.vosviewer.com/
Одним из важных и активно развивающихся в последние годы направлений применения библиометрического подхода являются исследования, посвященные мобильности ученых (в первую очередь международной, но не только). В России (и в мире) нет надежных официальных источников статистической информации, дающей объективное представление о масштабах международной научной миграции (существующие данные Росстата о прибывших
и выбывших кандидатах и докторах наук не выдерживают критики). В 1990-е годы все количественные оценки миграции ученых проводились с помощью экспертного оценивания, были приблизительны; они зависели от цели исследования и часто отличались друг от друга на порядок [Юревич, Малахов, Аушкап, 2017].
Поэтому в последние годы для определения более точного числа уезжающих (или приезжающих) ученых стали использовать библиометрический подход, позволяющий отследить перемещения ученых по смене аффилиаций в статьях, индексируемых в базах данных Scopus и WoS. Библиометрический подход не только дает более точные количественные значения, но и позволяет проследить дальнейшие карьеры ученых (отсечь тех ученых, которые перестали заниматься наукой, выявить тех, кто реэмигрировал, и т.д.) и на основе анализа публикационных профилей выявить различные модели (стратегии) миграции ученых [Юревич, Еркина, Ца-пенко, 2020].
За рубежом первые крупные исследования международной мобильности ученых на основе анализа данных международных библиометрических баз данных начали появляться около десяти лет назад [Moed, Halevi, 2014]. Впоследствии мониторингом этих процессов на основе данных Scopus занимались в том числе специалисты ОЭСР [OECD, 2017]. В России исследования в области мобильности ученых активно развиваются последние пять лет. Если поначалу большинство работ было посвящено отдельным направлениям науки [Dyachenko, 2017; Юревич, Еркина, Цапенко,
2020] или конкретным университетам и институтам [Кокшаров, Агарков, 2018], то за последние годы появился целый ряд крупных обобщающих работ по данной тематике, основанных на библио-метрическом анализе [Subbotin, Aref, 2021; Gureev, Guskov, Mazov,
2021]. Стоит отметить, что библиометрический анализ может быть использован для оценки как внешней, так и внутренней миграции ученых [Dyachenko, 2017].
Важной особенностью современных библиометрических баз данных является значительное количество фильтров и полей, по которым можно проводить поиск, что позволяет создавать и анализировать выборки самой различной конфигурации. Так, в одной из работ мы исследовали карьерные траектории ученых, участвующих в проектах программы «Мегагранты» [Еркина, Малахов,
Юревич, 2022], чтобы выявить, не стали ли создаваемые в рамках программы международные лаборатории площадками для вытягивания руководителями проектов перспективных молодых ученых из России за рубеж. Хотя гипотеза не подтвердилась, в рамках проведенного исследования удалось обнаружить несколько лабораторий, которые если не стимулировали «утечку умов», то существенно активизировали международную мобильность участников проектов. Схожим образом библиометрический подход можно использовать для анализа эффективности и долгосрочных последствий и их влияние на карьерные траектории ученых других программ поддержки исследований и разработок (например, для России - это гранты научных фондов, федеральные целевые программы, национальный проект «Наука и университеты», Проект 5-100 и др.).
Современные библиометрические базы данных также часто содержат информацию о ретракции статей, финансировании исследования, роли авторов в исследовании. Более того, некоторые базы данных позволяют вести поиск и сравнение не только по аннотациям, но и по полнотекстовым вариантам статей. Соответственно эти данные используются в исследованиях, посвященных экономике знаний, этическим проблемам современной науки, структуре современных научных коллективов, гендерным исследованиям и т.д. Так, библиометрический анализ использовался в сочетании с гендерным подходом, чтобы выявить и сравнить публикационные стратегии и траектории академических карьер у женщин и мужчин [Abramo, D'Angelo, Caprasecca, 2009]. В исследованиях, посвященных этическим проблемам современной науки, часто используется информация из библиометрических баз данных о ретракциях статей [Fang, Steen, Casadevall, 2012]. В одном из последних исследований, выполненных на данных Научной электронной библиотеки eLibrary.ru, был проведен анализ доступных полнотекстовых версий статей и выявлено 70 407 случаев дублирования публикаций в российских научных изданиях [Chekhovich, Khazov, 2022].
В последние годы методы библиометрического анализа часто используются в сочетании с технологиями работы с большими данными. Так, искусственный интеллект и методы машинного обучения используются для анализа библиографической и биб-лиометрической информации (метаданных публикаций) и выявле-
ния технологических трендов. С помощью технологий работы с большими данными исследователи не только выявляют технологические тренды в различных областях науки [Glänzel, Thijs, 2012], но и создают «карты» исследовательского пространства [Mapping the physics ..., 2019], а также занимаются прогнозированием различных наукометрических показателей статей на основе их аннотаций [Articles with impact ... , 2020].
Ограничения библиометрического подхода
Несмотря на возможности и преимущества, которые биб-лиометрические базы данных дают для количественных науковед-ческих исследований, у подхода библиометрического анализа есть целый ряд ограничений. Их можно разделить на две группы. К первой группе относятся «барьеры входа».
- PayWall. Доступ к наиболее авторитетным библиометриче-ским базам данных (Scopus, WoS) платный. Хотя до недавнего времени у большинства российских научных организаций и университетов был доступ к WoS (а к Scopus еще есть) по национальной подписке, для независимых исследователей доступ к ним закрыт. Кроме того, мало у кого есть доступ к аналитическим надстройкам, расширяющим возможности по обработке данных (InCites, SciVal).
- Санкции. В связи с событиями на Украине и международной нестабильностью в начале мая 2022 г. даже уже оплаченный доступ к большинству сервисов компании Clarivate (база данных WoS) для российских организаций был приостановлен. Есть большая вероятность, что подобные ограничения будут введены и для Scopus.
- Наличие у исследователей специальных навыков. Библио-метрический анализ требует от исследователя как минимум основ статистического анализа. Часто для выполнения более сложных задач требуются также технические знания (в том числе в области программирования, например для создания поисковых роботов), умение работать со специальным программным обеспечением (технологии искусственного интеллекта и машинного обучения).
Ко второй группе недостатков библиометрического анализа следует отнести целый ряд ограничений, связанных с «врожденными болезнями» существующих библиометрических баз данных.
- Ошибки в исходных метаданных публикаций. К сожалению, записи о публикациях, вносимые в базы данных, иногда содержат ошибки и опечатки, в некоторых случаях записи могут быть неполными. Это затрудняет библиографический поиск в автоматическом режиме (полученные выборки приходится проверять вручную) и искажает результаты анализа.
- Проблематичность разделения авторов, являющихся полными тезками (если идентификаторами авторов являются фамилия, имя и отчество, а не уникальные номера в базах данных), и, наоборот, автоматическое разделение профиля одного автора, если в разных публикациях использовались разные варианты транслитерации фамилии. Это также осложняет автоматический анализ публикационных профилей авторов.
- Указание авторами формальных аффилиаций, которые иногда ставятся исключительно ради благодарности взрастившим ученых учреждениям. Данная проблема ограничивает применение библиометрического анализа в исследованиях, посвященных академической мобильности.
- В большинстве международных баз данных публикации автоматически относятся к определенной области науки исходя из того, в каком журнале она опубликована (а не из содержания статьи), что может исказить результаты библиометрического анализа.
- Географическая неравномерность индексации журналов в международных базах данных. Хотя в последние годы ситуация с индексацией российских научных журналов в WoS и Scopus начала улучшаться, издания из разных стран и регионов по-прежнему представлены неодинаково. Более того, в связи с событиями на Украине и международными санкциями сейчас рассмотрение заявок от российских изданий на их включение в международные индексы цитирования приостановлены.
- Для историков науки существенным ограничением является хронологическая глубина индексации большинства источников в современных базах данных, не позволяющая проводить поиск по большинству публикаций старше 30-40 лет.
Некоторые из существующих ограничений библиометриче-ского анализа удается частично преодолеть с помощью создания сложных комплексных поисковых образов. Однако даже самые продуманные поисковые образы не застраховывают от попадания в выборку «левых» публикаций. При использовании библиометри-ческого подхода всегда будет присутствовать статистическая погрешность, поэтому важно проверять выборку «вручную», чтобы удостовериться, что погрешность невелика.
Заключение
Хотя для большинства российских ученых сегодня библиометрия ассоциируется в первую очередь с ее прикладным применением для оценки результативности исследователей и управления наукой, развитие современных наукометрических баз данных открыло перед исследователями науки и научного сообщества огромное количество возможностей для использования библиометриче-ского подхода при проведении фундаментальных исследований. Библиометрический анализ в настоящее время применяется в самых разных отраслях знаний и особенно в исследованиях в области социологии науки или экономики знаний. Тем не менее у него, как и у любого количественного метода, есть целый ряд недостатков, и наилучшие результаты он дает, когда используется в связке с другими методологиями, например, вместе с технологиями работы с большими данными (искусственный интеллект, машинное обучение) или качественными методами исследования.
В будущем стоит ожидать развития существующих и появления новых баз данных, а также увеличения информации, содержащейся в них (как за счет увеличения количества и географии индексированных журналов, так и за счет увеличения качества и объема данных о публикациях). В сочетании с развитием технологий работы с большими данными это еще больше расширит возможности использования библиометрического подхода при проведении науковедческих исследований.
Список литературы
Еркина Д.С., Малахов В.А., Юревич М.А. Программа мегагрантов: импульс международной мобильности или канал «утечки умов»? // Социология науки и технологий. - 2022. - № 1. - С. 81-96. - DOI: 10.24412/2079-0910-20221-81-96.
Кокшаров В.А., Агарков Г.А. Международная научная миграция : прогресс или угроза научно-технической безопасности России // Экономика региона. - 2018. - Т. 14, вып. 1. - С. 243-252. - DOI: 10.17059/2018-1-19.
Лазарев В.С. Библиометрия, наукометрия и информетрия. Часть 1. Возникновение и предыстория // Управление наукой : теория и практика. - 2020. -Т. 2, № 4. - С. 133-163. - DOI: 10.19181/smtp. 2020.2.4.6.
Лазарев В.С. Библиометрия, наукометрия и информетрия. Часть 2. Объект // Управление наукой : теория и практика. - 2021а. - Т. 3, № 1. - С. 80-105. - DOI: 10.19181/smtp. 2021.3.1.5.
Лазарев В.С. Библиометрия, наукометрия и информетрия. Часть 3. Объект (окончание) // Управление наукой : теория и практика. - 2021b. - Т. 3, № 2. -С. 99-136. - DOI: 10.19181/smtp. 2021.3.2.5.
Лазарев В.С. Библиометрия, наукометрия и информетрия. Часть 4. Методы // Управление наукой: теория и практика. - 2022. - Т. 4, № 1. - С. 180-214. -DOI: 10.19181/smtp. 2022.4.1.10.
Малахов В.А., Хохлов Ю.Е., Шапошник С.Б. Использование технологий работы с большими данными в российской науке // Информационное общество. -2021. - № 4/5. - С. 200-219. - DOI: 10.52605/16059921_2021_04_200
Прикладная наукометрия // Антропологический форум. - 2019. - № 40. -С. 11-84. - DOI: 10.31250/1815-8870-2019-15-40-11-84.
Сбитнева Г.И., Дворовенко О.В. Библиометрический анализ документопо-тока по теме «Методы научного исследования» (на основе данных реферативного журнала ВИНИТИ РАН «Информатика») // Научные и технические библиотеки. -2020. - № 4. - С. 99-114. - DOI: 10.33186/1027-3689-2020-4-99-114.
Юревич М.А., Малахов В.А., Аушкап Д.С. Плюрализм оценок миграционных потоков научных кадров в России // Наука. Образование. Инновации. -2017. - № 4(26). - С. 116-124.
Юревич М.А., Еркина Д.С., Цапенко И.П. Измерение международной мобильности российских ученых : библиометрический подход // Мировая экономика и международные отношения. - 2020. - Т. 64, № 9. - С. 53-62. - DOI: 10.20542/0131 -2227-2020-64-9-5 3-62.
Abramo G., D'Angelo C., Caprasecca A. Gender differences in research productivity : A bibliometric analysis of the Italian academic system // Scientometrics. - 2009. - Vol. 79, N 3. - P. 517-539. - DOI : 10.1007/s11192-007-2046-8.
Articles with impact : insights into 10 years of research with machine learning / Zwaard S., van der [et all.] // Journal of applied physiology. - 2020. - Vol. 129, N 4. -P. 967-979. - DOI: 10.1152/japplphysiol. 00489.2020.
Chekhovich Y.V., Khazov A.V. Analysis of duplicated publications in Russian journals // Journal of informetrics. - 2022. - Vol. 16, N 1, Article 101246. - DOI: 10.1016/j.joi. 2021.101246.
Dyachenko E.L. Internal migration of scientists in Russia and the USA : the case of physicists // Scientometrics. - 2017. - Vol. 113, N 1. - P. 105-122. - DOI: 10.1007/s11192-017-2478-8.
Fang F.C., Steen R.G., Casadevall A. Misconduct accounts for the majority of retracted scientific publications // Proceedings of the National Academy of Sciences. -2012. - Vol. 109, N 42. - P. 17028-17033. - DOI: 10.1073/pnas. 1212247109.
Glanzel W., Thijs B. Using «core documents» for detecting and labelling new emerging topics // Scientometrics. - 2012. - Vol. 91, N 2. - P. 399-416. - DOI: 10.1007/s11192-011-0591-7.
Gureev V.N., Guskov A.E., Mazov N.A. Russian scientists in global scientific migration processes // Herald of the Russian Academy of Sciences. - 2021. - Vol. 91, N 4. - P. 428-437. - DOI: 10.1134/S1019331621040055.
Mapping the physics research space : a machine learning approach / Chinazzi M., Gonjalves B., Zhang Q., & Vespignani A. // EPJ data science. - 2019. -Vol. 8, N 1, Article 33. - DOI: 10.1140/epjds/s13688-019-0210-z.
Moed H.F., Halevi G. A bibliometric approach to tracking international scientific migration // Scientometrics. - 2014. - Vol. 101, N 3. - P. 1987-2001. - DOI: 10.1007/s11192-014-1307-6.
OECD. Science, Technology and Industry Scoreboard 2017. - 2017. - 224 p. -URL: http://www.oecd.org/sti/oecd-science-technology-and-industry-scoreboard-20725 345.htm (accessed : 01.04.2022)
Subbotin A., Aref S. Brain drain and brain gain in Russia : analyzing international migration of researchers by discipline using Scopus bibliometric data 19962020 // Scientometrics. - 2021. - Vol. 126, N 9. - P. 7875-7900. - DOI: 10.1007/s 11192-021-04091 -x.
References
Abramo G., D'Angelo C., Caprasecca A. Gender differences in research productivity: a bibliometric analysis of the Italian academic system // Scientometrics. -2009. - Vol. 79, N 3. - P. 517-539. - DOI: 10.1007/s11192-007-2046-8.
Articles with impact: insights into 10 years of research with machine learning / Zwaard S., van der [et al.] // Journal of applied physiology. - 2020. - Vol. 129, N 4. -P. 967-979. - DOI: 10.1152/japplphysiol. 00489.2020.
Chekhovich Y.V., Khazov A.V. Analysis of duplicated publications in Russian journals // Journal of informetrics. - 2022. - Vol. 16, N 1, Article 101246. - DOI: 10.1016/j.joi. 2021.101246.
Dyachenko E.L. Internal migration of scientists in Russia and the USA : the case of physicists // Scientometrics. - 2017. - Vol. 113, N 1. - P. 105-122. - DOI: 10.1007/s11192-017-2478-8.
Erkina D.S., Malahov V.A., Yurevich M.A. Megagrant program: an impetus for international academic mobility or a channel for brain drain? // Sociology of Science and Technology. - 2022. - N 1. - P. 81-96. - DOI: 10.24412/2079-0910-2022-1-8196 (in Russ.)
Fang F.C., Steen R.G., Casadevall A. Misconduct accounts for the majority of retracted scientific publications // Proceedings of the National Academy of Sciences. -2012. - Vol. 109, N 42. - P. 17028-17033. - DOI: 10.1073/pnas. 1212247109.
Glänzel W., Thijs B. Using «core documents» for detecting and labelling new emerging topics // Scientometrics. - 2012. - Vol. 91, N 2. - P. 399-416. - DOI: 10.1007/s11192-011-0591-7.
Gureev V.N., Guskov A.E., Mazov N.A. Russian scientists in global scientific migration processes // Herald of the Russian Academy of Sciences. - 2021. - Vol. 91, N 4. - P. 428-437. - DOI: 10.1134/S1019331621040055.
Koksharov V.A., Agarkov G.A. International scientific migration: progress or a threat to Russia's scientific and technological security // Economy of region. - 2018. -Vol. 14, N 1. - P. 243-252. - DOI: 10.17059/2018-1-19 (in Russ.).
Lazarev V.S. Bibliometrics, scientometrics and informetrics. Part 1. Emergence and background // Science management: theory and practice. - 2020. - Vol. 2, N 4. -P. 133-163. - DOI: 10.19181/smtp. 2020.2.4.6 (in Russ.).
Lazarev V.S. Bibliometrics, scientometrics and informetrics. Part 2. Object // Science management: theory and practice. - 2021a. - Vol. 3, N 1. - P. 80-105. - DOI: 10.19181/smtp. 2021.3.1.5 (in Russ.).
Lazarev V.S. Bibliometrics, scientometrics and informetrics. Part 3. Object (ending) // Science management: theory and practice. - 2021b. - Vol. 3, N 2. - P. 99136. - DOI: 10.19181/smtp. 2021.3.2.5 (in Russ.).
Lazarev V.S. Bibliometrics, scientometrics and informetrics. Part 4. Methods // Science management: theory and practice. - 2022. - Vol. 4, N 1. - P. 180-214. - DOI: 10.19181/smtp. 2022.4.1.10 (in Russ.).
Malahov V.A., Hohlov Ju.E., Shaposhnik S.B. Monitoring the use of big data technologies in the Russian educational system // Information society. - 2021. - № 4-5. -P. 200-219. - DOI: 10.52605/16059921_2021_04_200 (in Russ.).
Mapping the physics research space : a machine learning approach / China-zzi M., Gonjalves B., Zhang Q., Vespignani A. // EPJ data science. - 2019. - Vol. 8, N 1, Article 33. - DOI: 10.1140/epjds/s13688-019-0210-z.
Moed H.F., Halevi G. A bibliometric approach to tracking international scientific migration // Scientometrics. - 2014. - Vol. 101, N 3. - P. 1987-2001. - DOI: 10.1007/s11192-014-1307-6.
OECD. Science Technology and Industry Scoreboard 2017. - URL: http:// www.oecd.org/sti/oecd-science-technology-and-industry-scoreboard-20725345.htm (accessed : 01.04.2022)
Applied scientometrics // Anthropological forum. - 2019. - N 40. - P. 11-84. -DOI: 10.31250/1815-8870-2019-15-40-11-84 (in Russ.).
Sbitneva G.I., Dvorovenko O.V. The bibliometrical analysis of document flow within the topic «Research methods» (based on VINITI RAS Abstracts Journal
«Informatics») // Scientific and technical libraries. - 2020. - № 4. - P. 99-114. - DOI: 10.33186/1027-3689-2020-4-99-114 (in Russ.).
Subbotin A., Aref S. Brain drain and brain gain in Russia: Analyzing international migration of researchers by discipline using Scopus bibliometric data 19962020 // Scientometrics. - 2021. - Vol. 126, N 9. - P. 7875-7900. - DOI: 10.1007/s 11192-021-04091 -x.
Yurevich M.A., Malahov V.A., Aushkap D.S. Diversity of estimations of scientific migration In Russia // Science. Education. Innovations. - 2017. - Vol. 4 (26). - P. 116-124. (in Russ.).
Yurevich M.A., Erkina D.S., Tsapenko I.P Measuring international mobility of Russian scientists: a bibliometric approach] // World economy and international relations. - 2020. - T. 64, № 9. - S. 53-62. - DOI: 10.20542/0131-2227-2020-64-953-62 (in Russ.).
