CC BY
0
НАУКА В ЦИФРАХ
Научная статья
УДК 001.891:004.65
https://doi.org/10.20913/1815-3186-2023-3-83-92
Наукометрия сегодня: анализ публикационной активности научной организации по данным РИНЦ
Ю. Д. Прокофьева^, М. А. Пекшева
Прокофьева Юлия Дмитриевна,
Центральная научная библиотека Уральского отделения Российской академии наук, ул. Софьи Ковалевской, 22/20, Екатеринбург,
620137, Россия, научный сотрудник
ORCID: 0000-0002-6375-6759 e-mail: Yulia9011@mail.ru
Пекшева
Мария Андреевна,
Центральная научная библиотека Уральского отделения Российской академии наук, ул. Софьи Ковалевской, 22/20, Екатеринбург,
620137, Россия,
младший научный сотрудник
ORCID: 0000-0003-4077-3270 e-mail: onir@cbibl.uran.ru
Аннотация. В условиях ограничения доступа к Web of Science и Scopus научные библиотеки вынуждены искать альтернативные источники библиометрической информации. Возникла необходимость пересмотра методов и инструментов проведения наукометрических исследований и системы оценки научной деятельности в целом. Особенно возросло внимание специалистов к Российскому индексу научного цитирования (РИНЦ), который сейчас наиболее полно отражает российский документопоток научных публикаций и обладает аналитическими возможностями, необходимыми для работы с библиометрическими показателями. В Центральной научной библиотеке Уральского отделения Российской академии наук (УрО РАН) методика наукометрического анализа публикационной активности научных организаций УрО РАН переориентирована на РИНЦ. Цель исследования - проведение анализа публикационной активности научной организации УрО РАН и апробация инструментов РИНЦ для решения наукометрических задач согласно разработанной методике. В результате исследования выявлена необходимость пересмотра критериев анализа и способов получения данных в соответствии с архитектурой РИНЦ. Сделаны выводы об эффективности инструментов РИНЦ для целей методики, корректности полученных данных и предложены действия по совершенствованию функционала системы.
Ключевые слова: наукометрия, научная коммуникация, библио-метрический анализ, наукометрический анализ, наукометрические исследования, научные организации УрО РАН, методика оценки Для цитирования: Прокофьева Ю. Д., Пекшева М. А. Наукометрия сегодня: анализ публикационной активности научной организации по данным РИнЦ // Библиосфера. 2023. № 3. С. 83-92. https://doi. org/10.20913/1815-3186-2023-3-83-92.
Статья поступила в редакцию 17.07.2023 Получена после доработки 31.08.2023
Принята для публикации 11.09.2023
© Ю. Д. Прокофьева, М. А. Пекшева, 2023
83
Scientometrics Today: Analysis of the Publication Activity of a Scientific Organization in the Russian Science Citation Index
Yulia D. Prokofieva , Marya A. Peksheva
Prokofieva Yulia Dmitrievna,
Central Scientific Library, Ural Branch of the Russian Academy of Sciences,
Sofia Kovalevskaya str., 22/20, Ekaterinburg, 620137, Russia, Research Associate
ORCID: 0000-0002-6375-6759 e-mail: Yulia9011@mail.ru
Peksheva Marya Andreevna,
Central Scientific Library of the Ural Branch of the Russian Academy of Sciences, Sofia Kovalevskaya str., 22/20, Yekaterinburg, 620137, Russia, Junior Research Worker
ORCID: 0000-0003-4077-3270 e-mail: onir@cbibl.uran.ru
Received
Revised
Accepted
17.07.2023 31.08.2023 11.09.2023
Abstract. Due to the limited access to the Web of Science and Scopus, scientific libraries are forced to look for alternative sources of bibliometric information. There has appeared the need to revise the methods and tools for conducting scientometric research and assessing scientific activity in general. Specialists' attention to the Russian Science Citation Index (RSCI) has especially increased, which now most fully reflects the Russian document flow on scientific publications and has the analytical capabilities necessary to work with bibliometric indicators. In the Central Scientific Library of the Ural Branch of the Russian Academy of Sciences (UB RAS), the methodology for scientometric analysis of the publication activity of scientific organizations of UB RAS has been reoriented to RSCI. The purpose of the study is to analyze the publication activity of a UB RAS scientific organization and test the RSCI tools for solving sciento-metric problems according to the developed methodology. The study revealed the need to revise the analysis criteria and methods of obtaining data according to the RSCI architecture. Conclusions are drawn on the effectiveness of RSCI tools for the purposes of the methodology, the correctness of the data obtained, and actions are proposed to improve the functionality of the system. Keywords: scientometric, scholarly communication, scientometric analysis, scientometric research, research organizations of the Ural Branch of the Russian Academy of Sciences, assessment methodology
Citation: Prokofieva Yu. D., Peksheva M. A. Scientometrics Today: Analysis of the Publication Activity of a Scientific Organization in the Russian Science Citation Index. Bibliosphere. 2023. № 3. P. 83-92. https://doi. org/10.20913/1815-3186-2023-3-83-92.
от
GC Ш CG
Ш О z
Ш
о от
Введение
За последний год российское научное сообщество столкнулось с рядом вызовов, препятствующих развитию наукометрических исследований, доступу к показателям и свободному использованию возможностей и инструментов наукометрии. Часть зарубежных издательств приостановила работу на территории Российской Федерации, в том числе прекращен доступ к информационно-аналитическим системам Web of Science (WoS) и Scopus, на которых была построена российская система оценки научной деятельности12'3.
1 Постановление Правительства РФ от 8 апреля 2009 г. № 312 «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (в ред. Постановления Правительства РФ от 01.11.2013 г. № 979) // ГАРАНТ.РУ: информационно-правовой портал. URL: https://base.garant.ru/195302/ (дата обращения: 10.04.2023).
2 О мерах по реализации государственной политики в области образования и науки : Указ Президента Рос. Федерации от 7 мая 2012 г. № 599 // Президент России : сайт. URL: Lttps://elibrary.ru/pro-jects/science_index/ranking_info.as (дата обращения: 10.04.2023).
3 Методика расчета качественного показателя государственного задания «Комплексный балл публикационной результативности» для научных организаций, подведомственных Министерству науки и высшего образования Российской Федерации, на 2020 год // ГАРАНТ.РУ: информационно-правовой портал. URL: https://base.garant.ru/74605896/ (дата обращения: 26.06.2023).
В марте 2022 г. вышло постановление Правительства РФ, предписывающее «не применять установленные требования по наличию публикаций в изданиях, индексируемых в международных БД WoS и Scopus, а также целевые значения показателей, связанных с публикационной активностью» до конца 2023 г.4, 5
В сложившихся условиях возникла необходимость пересмотра системы оценки научной деятельности, в связи с чем разработана новая методика рейтингования российских научных журналов Science Index6 и утверждена методика распределения по категориям российских и международных научных изданий «Белого
4 Постановление Правительства Российской Федерации от 19.03.2022 № 414 «О некоторых вопросах применения требований и целевых значений показателей, связанных с публикационной активностью» // Официальный интернет-портал правовой информации. URL: http://publication.pravo.gov.ru/Document/ View/0001202203210040 (дата обращения: 10.04.2023).
5 Постановление Правительства Российской Федерации от 19.09.2022 № 1655 «О внесении изменения в абзац первый пункта 1 постановления Правительства Российской Федерации от 19 марта 2022 г. № 414» // Официальный интернет-портал правовой информации. URL: http://publication.pravo.gov.ru/Docu-ment/View/0001202209210014 (дата обращения: 10.04.2023).
6 О новом рейтинге журналов Science Index. URL: https:// elibrary.ru/projects/science_index/ranking_info.asp (дата обращения: 26.06.2023).
списка» на 2023 г.7 В этой методике упоминается запуск «Национальной платформы журналов» (не ранее 2024 г.), создание «отечественной системы учета научного цитирования» (2024 г.), создание «российской системы индексации научных публикаций», но не раскрывается, что конкретно подразумевается под этими формулировками.
В последнее десятилетие разработано большое количество методик оценки научной деятельности, основанных на данных WoS и Scopus, что обусловлено ориентацией мировой и национальной научной политики преимущественно на эти системы (Валько, 2017; Гуськов и др., 2018; Калашникова, 2021, 2022, 2023; Лапоч-кина и др., 2020; Huang et al., 2023; Krauskopf, 2017). При этом дискуссионными являются как объективность применения наукометрических показателей для оценки научной деятельности в целом (Гиляревский, Мельникова, 2018; Гуськов, Шрайберг, 2023; Garsia-Villar, Garsia-Santos, 2021; Krauskopf, 2017), так и для оценки развития российской науки в частности (Гринёв, 2019; Цветкова и др., 2023). В качестве альтернативных источников информации для решения биб-лиометрических и поисковых задач специалисты также рассматривают возможности открытых библиографических систем и доступных модулей платных систем (Гуреев, Мазов, 2023; Лутай, Черченко, 2022; Стерлигов, 2022).
Наряду с данными из международных баз в отечественной системе оценки научной деятельности учитываются сведения Российского индекса научного цитирования (РИНЦ) - национальной информационно-аналитической системы. В условиях ограниченного доступа к зарубежным ресурсам внимание профессионального сообщества к системе РИНЦ значительно возросло (Гуреев, Мазов, 2023; Калашникова, 2023; Цветкова и др., 2023). Специалистами отмечается, что РИНЦ «вполне могла бы использоваться для оценки российской науки как система, наиболее полно индексирующая отечественные публикации» (Гуреев, Мазов, 2023, с. 60). Однако РИНЦ имеет ряд особенностей, препятствующих его использованию в качестве основного источника данных. Перечислим некоторые из них.
• Значительное количество ошибок в библиографических описаниях и некорректное отражение метаданных публикаций (Филиппова, 2022; Цветкова, Мохначева, 2021, Цветкова и др., 2018).
• Многообразие показателей, параметров, фильтров, уточнений и отсутствие установленных
7 Методика категорирования российских и международных научных изданий «Белого списка» : утв. 15 мая 2023 г. URL: https:// minobrnauki.gov.ru/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4 %D0%B8%D0%BA%D0%B0_%D1%83%D1%82%D0%B2%D0%B5% D1%80%D0%B6%D0%B4%D0%B5%D0%BD%D0%BD%D0%B0%D 1%8F.pdf (дата обращения: 26.06.2023).
стандартов и методик их использования для оценки научной деятельности организаций и авторов.
• Расхождение количественных данных для одних и тех же показателей при использовании разных алгоритмов поиска (Цветкова и др., 2018).
• Неудовлетворительная индексация публикаций российских ученых в зарубежных журналах и учет их цитировании (Гринев, 2019; Гуреев, Мазов, 2023; Наукометрия в России ..., 2023).
• Отсутствие в стандартном интерфейсе возможности выгрузки данных с целью обработки и проведения библиометрических исследований. Экспорт списка публикаций организации доступен только ее авторизованному представителю при наличии подписки на платный модуль Science Index.
Несмотря на технические несовершенства, на сегодняшний день РИНЦ является единственной отечественной системой, наиболее полно отражающей российский документопоток научных публикаций, в том числе полные тексты, и обладающей аналитическими инструментами для проведения библиометрических исследований. РИНЦ аккумулирует информацию о публикациях российских ученых из всех доступных источников, по всем направлениям наук и типам публикаций (около 45 млн публикаций с ежегодным приростом 3-5 млн новых записей).
Отвечая на возникающие вызовы и потребности научного сообщества, разработчики РИНЦ ведут активную работу по развитию системы: в 2023 г. опубликована новая методика ранжирования научных журналов Science Index, внедрена возможность рубрикации отдельных публикаций зарегистрированными авторами, добавлены коды публикаций в списках литературы для прямого перехода в тематические базы данных, реализована функция связи грантов с финансируемыми исследованиями и др. (Наукометрия в России ..., 2023). Значительных усилий требует индексация в РИНЦ зарубежных журналов, что является обязательным условием полного и качественного отражения публикационного потока российских ученых. На текущий момент начат процесс наполнения базы за счет открытых данных системы Crossref, которые требуют тщательной проверки, нормализации и исправления ошибок вручную (Наукометрия в России ..., 2023).
В Центральной научной библиотеке Уральского отделения Российской академии наук (ЦНБ УрО РАН) на 2022 г. было запланировано проведение анализа публикационной активности научных организаций на основании ранее разработанной Методики оценки развития междисциплинарных исследований и деятельности научных организаций (далее методика) (Прокофьева, 2018, 2020).
х с
CL ©
CG
С х
ОТ ОС Ш
m
Ш О z ш
О от
86
Методика основывается на данных систем WoS и Scopus и является логическим продолжением развития библиометрических исследований в ЦНБ УрО РАН с начала 2000-х гг. (Кузнецова, Трескова 2018; Осипова, Кычакова, 2011; Тре-скова, 2009, 2010). В сложившихся условиях разработанная методика была переориентирована на РИНЦ. Поскольку аналитические возможности, инструменты и фильтры РИНЦ значительно отличаются от зарубежных аналогов, способы получения данных по критериям методики корректировались в ходе проведения исследования.
Цель статьи - проведение анализа публикационной активности научной организации и апробация инструментов РИНЦ для решения наукометрических задач по оценке российской науки согласно разработанной методике.
С теоретической точки зрения исследование направлено на развитие методологии наукометрической оценки публикационной активности ученых. Апробация инструментов РИНЦ позволит оценить его потенциал и использовать в качестве основного источника библиометрических данных для достижения целей методики. С практической точки зрения результаты исследования способствуют формированию дальнейшей стратегии реализации методики, отработке порядка взаимодействия с научными организациями, оценке перспектив применения полученных результатов в процессах планирования, подготовки отчетности, принятия управленческих решений на основе обратной связи.
Наукометрический анализ публикационной активности Института физики металлов УрО РАН8
Анализ публикационной активности организации, согласно методике, предполагает активное взаимодействие сотрудников библиотеки с представителями этой организации. Роль представителя заключается в определении границ проведения анализа (показателей, периода, платформ), а также проверке полученных сведений. Основываясь на информации и документах, находящихся в распоряжении организации (устава, отчетов, списков публикаций, списков сотрудников и т. д.), сотрудники организации также могут оценить полноту и достоверность сведений, полученных в результате анализа.
Критериями выбора организации для проведения анализа стали: заинтересованность в проведении наукометрического анализа -по итогам опроса, проведенного ЦНБ УрО РАН в 2021 г. (Прокофьева, 2022), количество публикаций за 5 лет (организации с наибольшим
Данные представлены по состоянию на 1 квартал 2023 г.
количеством публикаций); территориальное расположение (Екатеринбург). Было принято решение о проведении в 2022 г. наукометрического анализа публикационной активности Института физики металлов имени М. Н. Михеева УрО РАН (ИФМ УрО РАН) за 5 лет.
В соответствии с методикой использованы следующие критерии для сбора данных.
1. Количество публикаций организации.
2. Ведущие направления исследований.
3. Публикации с наибольшим количеством цитирований.
4. Типы научных публикаций.
5. Ведущие авторы.
6. Организации-соавторы.
7. Источники публикаций.
8. Страны-соавторы.
В статье представлены общие результаты, выводы и статистические сведения, полученные по результатам анализа. Анализ проводился с использованием стандартного интерфейса РИНЦ, общедоступных функций и инструментов. Проведенное исследование не предполагает использование данных, доступных представителям организаций, оформивших лицензионный договор на информационно-аналитическую систему Science Index.
Количество публикаций организации. В системе РИНЦ доступно три варианта (алгоритма) получения библиометрических данных по показателям:
• через раздел «Анализ публикационной активности»;
• на основе списка публикаций организации с использованием фильтров;
• на основе статистических отчетов распределения публикаций по различным параметрам в графическом представлении (расположены в конце раздела «Анализ публикационной активности»).
Как отмечалось ранее, для РИНЦ характерно расхождение количественных данных для одних и тех же показателей при использовании разных алгоритмов поиска. Сбор данных по показателю «количество публикаций организации за 5 лет» наглядно это демонстрирует (табл. 1).
В разделе «Анализ публикационной активности» при расчете показателей учитываются публикации, в которых организация указана в качестве места работы хотя бы одного из авторов, а также все публикации авторов, изданные в период их работы в организации, и не учитываются публикации авторов, извлеченные из списков цитируемой литературы. При переходе из раздела «Анализ публикационной активности (показатели за 5 лет)» на количество публикаций в РИНЦ (4493) открывается список публикаций с общим количеством 4584. При этом установленные фильтры совпадают.
Таблица 1. Количество публикаций ИФМ УрО РАН по данным РИНЦ Table 1. Number of publications by the IPM UB RAS according to RSCI
Раздел РИНЦ - источник данных Количество публикаций за 2017-2021 гг.
Анализ публикационной активности (показатели за 5 лет) 4493
Анализ публикационной активности (показатели по годам) 4497 (сумма показателей за 2017-2021 гг.)
Список публикаций организации 4584
Статистические отчеты. Распределение публикаций по годам 5338 (сумма показателей за 2017-2021 гг.)
Значительно отличающийся результат получается при выборе фильтра «все публикации, в которых явно указана организация» -3551 публикация. Применение этого фильтра представляется целесообразным для анализа по ряду критериев, в частности, ведущие авторы организации, источники публикаций. Если сложить показатели «Распределение публикаций по годам» из статистического отчета РИНЦ, представленного в системе в виде диаграммы, то количество публикаций за 5 лет получится 5338. Остается неясным, показатели какого уровня представлены в данном отчете: eLIBRARY.RU, РИНЦ или ядро РИНЦ. Поскольку в разделе «Анализ публикационной активности (показатели за 5 лет)»:
- число публикаций на eLIBRARY.RU - 4593;
- число публикаций в РИНЦ - 4493;
- число публикаций, входящих в ядро РИНЦ, - 2819.
Система РИНЦ снабжена справочной информацией по различным показателям, однако на практике ни при одной комбинации фильтров в «Списке публикаций организации» невозможно получить данные, совпадающие с аналогичным показателем в разделе «Анализ публикационной активности». Таким образом, для применения системы РИНЦ в целях оценки научной деятельности необходимо привести показатели к единому значению или разработать общепринятые методические рекомендации по их использованию.
Ведущие направления исследований. К этим направлениям относятся тематики, имеющие наибольшую долю от общего числа публикаций организации за исследуемый период. В системе РИНЦ публикации ИФМ УрО РАН распределены по 42 тематикам. Поиск по каждой отдельной тематике за 5 лет проводился вручную на странице списка публикаций организации. Получение сведений за определенный период по всем тематикам одновременно невозможно, так как не предусмотрено сочетание параметров «тематика» и «годы». Значения в параметре «тематика» сохраняются за все годы, несмотря на выбранный период (рис.).
Ведущими направлениями исследований ИФМ УрО РАН являются: физика - 80,6 %, металлургия - 7,8 %, химия - 4,2 %, общие и комплексные проблемы технических и прикладных наук и отраслей народного хозяйства -3 %. Содержательный анализ направлений с наименьшим количеством публикаций (математика, компьютерные технологии, биохимия, генетика и молекулярная биология, медицина, экономика, пищевая промышленность и др.) позволил выявить работы междисциплинарного характера. В качестве примеров междисциплинарного взаимодействия можно привести участие сотрудника ИФМ УрО РАН д-ра техн. наук,
Рис. Отражение параметров в системе РИНЦ Fig. Presentation of parameters in RSCI
X <
CL ©
m
< x
от
ОС ш m
ш
о
Z
УУ
О от
зав. лабораторией прочности Волкова А. Ю.9 в исследованиях, посвященных действию гидростатического давления в области пищевых технологий; исследования на стыке металлургии, истории и военного машиностроения, выполненные при участии канд. физ.-мат. наук Гижев-ского Б. А.10; работы канд. физ.-мат. наук Руб-штейн А. П.11 в области исследования свойств материалов и покрытий, их применения в медицине, в частности, в травматологии и ортопедии.
Таким образом, информация по тематикам публикаций в системе РИНЦ представлена в достаточном объеме, в том числе для установления междисциплинарных связей в исследованиях. Однако из-за несовершенства аналитических инструментов обработка данных требует значительных временных затрат.
Публикации с наибольшим количеством цитирований. К числу наиболее цитируемых статей ИФМ УрО РАН относятся работы, опубликованные в зарубежных высокорейтинговых журналах и с международным соавторством. Более 30 цитирований в РИНЦ имеют 30 статей. Самыми цитируемыми публикациями оказались три статьи, опубликованные при участии сотрудников ИФМ УрО РАН (Катаев А. А., Кур-маев Э. З. Рыбаков Ф. Н., Борисов А. Б.), имеющие более 150 цитирований на момент сбора данных (остальные публикации - менее 100).
При работе с показателем «количество цитирований публикаций» выявлены расхождения аналогичного характера, что и при анализе количества публикаций. Сведения из раздела «Анализ публикационной активности» не совпадают с информацией на странице «Список публикаций организации». Это не препятствует выявлению наиболее цитируемых публикаций, но может влиять на общие показатели при оценке результативности научной деятельности организации.
Типы научных публикаций. Публикации ИФМ УрО РАН в системе РИНЦ представлены 32 типами. За все годы более 94,4 % публикаций составляют научные статьи в журналах, 8,4 % -тезисы докладов конференций, 8 % - статьи в сборниках трудов конференций, 3,3 % - статьи в журналах по материалам конференций. Данные за 5 лет свидетельствуют о сокращении доли научных статей в общем массиве публикаций и увеличении доли тезисов и статей в сборниках трудов конференций: научные статьи в журнале - 56 %, тезисы доклада на конференции - 18 %, статьи в сборнике трудов конференции - 16 %. Получение данных за 5 лет осуществлялось по каждому типу публикаций отдельно.
9 https://www.elibrary.ru/author_profile.asp?authorid=57200
10 https://www.elibrary.ru/author_items.asp?authorid=114782
11 https://www.elibrary.ru/author_profile.asp?authorid=38059
Ведущие авторы. Для выявления авторов с наибольшим количеством публикаций в соответствии с методикой использован показатель 1,5 % и более от общего числа публикаций за исследуемый период, что составляет 53 и более документов. Для расчета использовано общее число публикаций - 3551 (фильтр «все публикации, в которых явно указана организация»). Проанализированы 342 автора, имеющие за весь период 53 и более публикаций. Отдельно для каждого автора определено количество работ, опубликованных за 5 лет, и выявлен 31 ведущий автор. Более 100 публикаций имеют: Макаров А. В. (160), Марчен-ков В. В. (120), Устинов В. В. (119).
Стоит отметить, что для критерия «авторы» процесс получения данных о количестве публикаций за определенный период в системе РИНЦ является трудоемким и затратным по времени. Критерий зависит от масштабов организации и может включать сотни и тысячи авторов, в отличие от критериев «типы публикаций» и «направления исследований», перечень которых ограничен.
Организации-соавторы. Стандартный интерфейс РИНЦ не включает аналитические инструменты, позволяющие в автоматическом режиме выявить организации, совместно с которыми написаны научные работы за последние 5 лет. С этой целью определен список организаций, совместно с которыми за все годы написано 0,1 % и более публикаций от общего числа за исследуемый период, что составляет 5 публикаций и более. Выявлено, что 5 и более работ опубликованы сотрудниками ИФМ УРО РАН совместно с 91 организацией: 4 зарубежными (4,3 %) и 87 российскими (95,7 %), в том числе с 12 организациями УрО РАН (13 %) и 14 прочими организациями Уральского федерального округа (15,7 %). Организацией с наибольшим количеством совместных публикаций выступает Уральский федеральный университет (1897 - 53,4 % от общего количества публикаций за 5 лет).
Источники публикаций. Анализ публикационной активности по критерию «источники публикаций» является одним из наиболее значимых, поскольку все источники имеют рейтинговые показатели, которые используются в оценке научной деятельности организации. Изучены 60 источников, в которых за весь период опубликовано 30 и более статей (0,2 % от всех публикаций). Для каждого из них определено количество публикаций за 2017-2021 гг. На основе полученных данных выбраны 17 журналов, в которых за 5 лет опубликовано 30 и более статей (табл. 2). Для них проведен анализ сведений об индексации источников в WoS, Scopus, Russian Science Citation Index (RSCI) и их наличии в перечне рецензируемых изданий Высшей аттестационной комиссии (ВАК).
Таблица 2. Источники публикаций в РИНЦ (фрагмент таблицы) Table 2. Sources of publications in RSCI (table fragment)
Название источника Количество публикаций Количество публикаций за 5 лет ВАК RSCI WoS Scopus
за все
годы
The Physics of Metals and Metallography 2157 350 + - + +
Физика металлов и металловедение 2185 308 + + + +
Физика твердого тела 661 116 + + - -
Physics of the Solid State 596 108 + - + +
Physical Review B 121 99 - + +
Journal of Magnetism and Magnetic Materials 336 66 - - + +
Diagnostics, Resource and Mechanics of materials and 104 65
structures
Дефектоскопия 585 61 + + + +
Journal of Alloys and Compounds 240 58 - - + +
Russian Journal of Nondestructive Testing 417 51 + - + +
Журнал экспериментальной и теоретической физики 213 47 + + + +
Journal of Experimental and Theoretical Physics 210 46 + - + +
JETP Letters 221 38 + - + +
Письма в Журнал экспери-
ментальной и теоретической 199 35 + + + +
физики
Low Temperature Physics 114 35 - - + +
Физика низких температур 120 31 - - + +
Письма о материалах 49 30 + + + +
Наибольшее количество статей опубликовано в журнале «The Physics of Metals and Metallography» и в его русскоязычной версии «Физика металлов и металловедение» (657 - 19 % от всех публикаций ИФМ УрО РАН, отраженных в РИНЦ за 5 лет); учредителем журнала является ИФМ УрО РАН. Значительное количество работ опубликовано в отечественных журналах и их переводных версиях: «Физика твердого тела» (Physics of the Solid State) - суммарно 224 статьи; «Дефектоскопия» (Russian Journal of Nondestructive Testing) - 112; «Журнал экспериментальной и теоретической физики» (Journal of Experimental and Theoretical Physics) - 93.
Страны-соавторы. В системе РИНЦ представлена информация о количестве публикаций с участием зарубежных авторов за 5 лет -715 публикаций. Фильтр для выявления совместных публикаций с зарубежными
странами в стандартном интерфейсе системы не предусмотрен.
Заключение
В ходе исследования проведен анализ публикационной активности ИФМ УрО РАН по 8 критериям на основе данных РИНЦ за 2017-2021 гг. Подготовленный по итогам анализа научный отчет направлен представителям ИФМ х УрО РАН с целью проверки корректности дан- 2: ных. В результате значительных расхожде- ^ ний не обнаружено, за исключением авторов, ^ ошибочно аффилированных с организацией, ^ которые были исключены из итоговой версии ^ отчета. Представителями организации отме- ^ чено, что полученная информация актуальна для подготовки отчетности по публикационной активности института. Обозначена потребность 89
периодического мониторинга, а также сравнительного анализа полученных сведений с данными за следующие пять лет (2022-2026 гг.).
Для задач методики, разработанной в ЦНБ УрО РАН, в процессе анализа были апробированы инструменты РИНЦ и сделаны следующие выводы.
• Значительное расхождение данных по количеству публикаций и цитирований при использовании различных алгоритмов их получения влияет на общую картину результатов публикационной активности организации. Вариативность общего количества публикаций влечет за собой некорректные расчеты при анализе по остальным критериям. Решением может быть устранение проблемы на техническом уровне в алгоритмах системы РИНЦ или разработка методических рекомендаций по формированию отчетных данных с дословными формулировками системы РИНЦ. Поскольку показатели РИНЦ учитываются Министерством науки и высшего образования РФ при оценке результатов научной деятельности организаций, представляется логичным, чтобы данные рекомендации были приняты на уровне министерства.
• Аналитические возможности системы в разделе «Список публикаций организации» не позволяют комбинировать параметры между собой. Выбор того или иного параметра не меняет значение других параметров, а сохраняет общие значения. В связи с этим анализ по критериям «ведущие направления исследований», «ведущие авторы», «типы публикаций», «организации-соавторы», «источники публикаций» за выбранные годы проведен отдельно для каждого значения. Для эффективной работы с данными и экономии времени целесообразно предусмотреть возможность взаимодействия параметров и отражения соответствующих значений по выбранным комбинациям.
• Согласно методике, одним из показательных критериев в направлении международного сотрудничества является «страны-соавторы». Стандартный интерфейс РИНЦ не включает сведения по этому критерию, что в сочетании с недостаточной индексацией публикаций отечественных авторов в зарубежных источниках не позволяет делать выводы о характере научного взаимодействия между странами и выявлять направления совместных научных исследований.
• В процессе практической адаптации методики к алгоритмам и инструментам РИНЦ выявлена необходимость проработки способов получения данных, их интерпретации и расширения перечня анализируемых показателей. В частности, анализ по критерию «источники публикаций» основывался на показателях зарубежных баз данных (импакт-фактор, SJR и квартиль журнала). В РИНЦ они отсутствуют, однако имеется собственная система библиометрических показателей журнала, которая дает подробное представление о качестве источников публикаций организации.
Таким образом, аналитические инструменты РИНЦ не обладают достаточным функционалом для решения задач методики. В свою очередь, методика, разработанная для алгоритмов зарубежных баз данных, требует пересмотра и адаптации к возможностям и инструментам РИНЦ. Выводы о работе системы актуальны для специалистов в области наукометрии независимо от используемых подходов и поставленных задач. Совершенствование функционала РИНЦ в указанных направлениях позволит оптимизировать работу с библиометрическими данными и повысить качество результатов наукометрических исследований и оценки научной деятельности.
Список источников / References
Валько Д. В. О методике систематической оценки и формирования рейтинга публикационной активности исследователей // Модели, системы, сети в экономике, технике, природе и обществе. 2017. № 3. С. 17-30 [Val'ko DV (2017) On the method of systematic evaluation and formation of the rating of the publication activity of researchers. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve 3: 17-30. (In Russ.)].
Гиляревский Р. С., Мельникова Е. В. О разработке концепции государственной наукометрической системы и методики ее функционирования // Научно-техническая информация. Серия 1, Организация и методика информационной работы. 2018. № 9. С. 7-12 [Gilyarevsky RS and Melnikova EV
(2018) On the development of the concept of the state scientometric system and methods of its functioning. Nauchno-tekhnicheskaya informaciya. Seriya 1, Organizaciya i metodika informacionnoj raboty 9: 7-12. (In Russ.)].
Гринёв А. В. Использование наукометрических показателей при оценке публикационной активности в современной России // Вестник Российской академии наук. 2019. Т. 89, № 10. С. 993-1002 [Grinev AV (2019) The use of scientometric indicators in assessing publication activity in modern Russia. Vestnik Rossijskoj akademii nauk 89 (10): 993-1002. (In Russ.)].
Гуреев В. Н., Мазов Н. А. Возрастание роли открытых библиографических данных в условиях ограничения доступа к коммерческим информационным системам // Управление наукой: теория и практика. 2023. Т. 5, № 2. С. 49-76 [Gureev VN and Mazov NA
(2023) The growing role of open bibliographic data in conditions of limited access to commercial information systems. Upravlenie naukoj: teoriya i praktika 5 (2): 49-76. (In Russ.)]. DOI: https://doi.org/10.19181/ smtp.2023.5.2.4.
Гуськов А. Е., Косяков Д. В., Селиванова И. В. Методика оценки результативности научных организаций // Вестник Российской академии наук. 2018. Т. 88, № 5. С. 430-443 [Guskov AE, Kosyakov DV and Selivanova IV (2018) Methodology for assessing the performance of scientific organizations. Vestnik Rossijskoj akademii nauk 88 (5): 430-443. (In Russ.)].
Гуськов А. Е., Шрайберг Я. Л. Вызовы для развития наукометрических исследований // Научные и технические библиотеки. 2023. № 2. С. 37-58 [Guskov AE and Shrayberg YaL (2023) Challenges to develop scientometric studies. Nauchnye i tekhnicheskie biblioteki 2: 37-58. (In Russ.)].
Калашникова Г. В. Библиометрическая оценка региональной научной деятельности: анализ подходов и их возможности // Информационные технологии, компьютерные системы и издательская продукция для библиотек : сб. докл. Двадцать шестой Междунар. конф. и выставки «LIBC0M-2022» (г. Суздаль, 20-25 нояб. 2022 г.). Москва, 2022. С. 72-76 [Kalashnikova GV (2022) Bibliometric assessment of regional scientific activity: analysis of approaches and their possibilities. Informacionnye tekhnologii, komp'yuternye sistemy i izdatel'skaya produkciya dlya bibliotek: sb. dokl. Dvadtsat' shestoi Mezhdunar. konf. i vystavki «LIBCOM-2022» (g. Suzdal', 20-25 noyab. 2022g.). Moscow, pp. 72-76. (In Russ.)].
Калашникова Г. В. О методиках оценки региональной научной деятельности // Румянцевские чтения - 2021 : материалы Междунар. науч.-практ. конф. Москва, 2021. Ч. 1. С. 425-430 [Kalashnikova GV (2021) On methods for assessing regional scientific activity. Rumyantsevskie chteniya - 2021: materialy Mezhdunar. nauch.-prakt. konf. Moscow, pt. 1, pp. 425-430. (In Russ.)].
Калашникова Г. В. Об оценке научной деятельности с использованием библиометрических данных (краткий обзор публикаций) // Научно-техническая информация. Серия 1, Организация и методика информационной работы. 2023. № 2. С. 20-23 [Kalashnikova GV (2023) On the evaluation of scientific activity using bibliometric data (brief review of publications). Nauchno-tekhnicheskaya informatsiya. Seriya 1, Organizatsiya i metodika informatsionnoi raboty 2: 20-23. (In Russ.)].
Кузнецова Т. В., Трескова П. П. Отражение публикационной активности институтов химического профиля УрО РАН в системе Scifinder // Библио-сфера. 2018. № 2. С. 77-84 [Kuznetsova TV and Treskova PP (2018) Reflection of the publication activity of institutes of the chemical profile of the Ural Branch of the Russian Academy of Sciences in the Scifinder system. Bibliosfera 2: 77-84. (In Russ.)].
Лапочкина В. В., Долгова В. Н., Безроднова К. А., Оршанская Ю. О. Методический подход к оценке
публикационной активности российских исследователей по регионам Российской Федерации на основе данных Web of Science Core Collection и Scopus // Научные и технические библиотеки. 2020. № 12. С. 59-82 [Lapochkina VV, Dolgova VN, Bezrodnova KA and Orshanskaya YuO (2020) Methodological approach toward assessing publication activity of Russian researchers in the Russian Federation regions based on Web of Science Core Collection and Scopus data. Nauchnye i tekhnicheskie biblioteki 12: 59-82].
Лутай А. В., Черченко О. В. Открытые сервисы для поиска научных публикаций // Национальная подписка : сайт. Дата публикации: 28.12.2022 [Lutai AV and Cherchenko OV (2022) Open services for the search for scientific publications. Natsional'nayapodpiska: sait. Publication date: 28.12.2022. (In Russ.)]. URL: https:// podpiska.rfbr.ru/materials/2022_open_search_ solutions/ (дата обращения = accessed 30.08.2023).
Наукометрия в России: проекты импортозамещения // Университетская книга. 2023. № 6. С. 40-44 [(2023) Scientometrics in Russia: import substitution projects. Universitetskaya kniga 6: 40-44. (In Russ.)].
Осипова Е. В., Кычакова А. В. Библиометрический анализ публикаций сотрудников институтов Уральского отделения РАН за период с 2002 по 2008 гг. по базам данных Web of Science и Scopus // ERGO. Проблемы методологии междисциплинарных исследований и комплексного обеспечения научно-исследовательской деятельности : сб. науч. тр. Екатеринбург, 2011. Вып. 5. С 109-149 [Osipova EV and Kychakova AV (2011) Bibliometric analysis of publications of employees of the institutes of the Ural Branch of the Russian Academy of Sciences for the period from 2002 to 2008 on the databases of Web Science and Scopus. ERGO. Problemy metodologii mezhdistsiplinarnykh issledovanii i kompleksnogo obespecheniya nauchno-issledovatelskoi deyatel'nosti: sb. nauch. tr. Ekaterinburg, iss. 5, pp. 109-149. (In Russ.)].
Прокофьева Ю. Д. Критерии оценок развития междисциплинарных исследований: к постановке проблемы // Библиосфера. 2018. № 4. С. 95-100 [Prokofieva YuD (2018) Criteria for assessing the development of interdisciplinary research: to the formulation of the problem. Bibliosfera 4: 95-100. (In Russ.)].
Прокофьева Ю. Д. Методика оценки развития междисциплинарных исследований и деятельности научных организаций как основа единой системы наукометрического анализа в УрО РАН // Вестник Московского государственного университета культуры и искусств. 2020. № 4. С. 98-115 [Prokofieva YuD (2020) Methodology for assessing the development of interdisciplinary research and the activities of scientific organizations as the basis of a unified system of scientometric analysis in the Ural Branch of the Russian Academy of Sciences. Vestnik Moskovskogo gosudarstvennogo universiteta kul'tury i iskusstv 4: 98-115. (In Russ.)].
X <
CL ©
CG
< X
Прокофьева Ю. Д. Наукометрия в библиотеке как инструмент поддержки исследований УрО РАН // Библиосфера. 2022. № 2. С. 105-118 [Prokofieva YuD (2022) Scientometrics in the library as a research support tool in the Ural Branch of the Russian Academy of Sciences. Bibliosfera 2: 105-118. (In Russ.)].
Стерлигов И. Новая наукометрия. Семинар 1. Источники данных : [вебинар] // НИУ ВШЭ. Науко-метр. центр. 28.09.2022. [Sterligov I (2022) New scientometrics. Workshop 1. Data sources: [webinar]. NIU VShE. Naukometricheskii tsentr. Publication date: 28.09.2022. (In Russ.)]. URL: https://www.youtube. com/watch?v=CW7Z8dUF4us (дата обращения = accessed 30.08.2023).
Трескова П. П. Наука в информационном измерении: анализ публикационной активности ученых с использованием баз данных «Web of Science» и «Scopus» // Информационное обеспечение науки: новые технологии : сб. науч. тр. Москва, 2009. С. 253-262 [Treskova PP (2009) Science in the information dimension: analysis of the publication activity of scientists using the databases "Web of Science" and "Scopus". Informatsionnoe obespechenie nauki: novye tekhnologii: sb. nauch. tr. Moscow, pp. 253-262. (In Russ.)].
Трескова П. П. Применение библиометрических показателей для оценки результативности деятельности научных организаций Уральского отделения РАН // Новые технологии в информационно-библиотечном обеспечении научных исследований : сб. науч. тр. Екатеринбург, 2010. С. 226-235 [Treskova PP (2010) The use of bibliometric indicators to assess the performance of scientific organizations of the Ural Branch of the Russian Academy of Sciences. Novye tekhnologii v informatsionno-bibliotechnom obespechenii nauchnykh issledovanii: sb. nauch. tr. Ekaterinburg, pp. 226-235. (In Russ.)].
Филиппова И. Н. РИНЦ: проблемы и перспективы публикационной активности // Вестник
Сургутского государственного педагогического университета. 2022. № 2. С. 113-121 [Filippova IN (2022) RSCI: problems and prospects of publication activity. Vestnik Surgutskogo gosudarstvennogo pedagogicheskogo universiteta 2: 113-121. (In Russ.)].
Цветкова В. А., Мохначева Ю. В. Влияние качества библиографического описания на библиометри-ческие оценки // Библиосфера. 2021. № 2. С. 59-64 [Tsvetkova VA and Mokhnacheva YuV (2021) Influence of the quality of bibliographic description on bibliometric scores. Bibliosfera 2: 59-64. (In Russ.)]. DOI: https://doi.org/10.20913/1815-3186-2021-2-59-64.
Цветкова В. А., Мохначева Ю. В., Калашникова Г. В. Парадоксы библиометрических инструментов // Научные и технические библиотеки, 2018. № 8. C. 3-19 [Tsvetkova VA, Mokhnacheva YuV and Kalashnikova GV (2018) The paradoxes of bibliometric tools. Nauchnye i tekhnicheskie biblioteki 8: 3-19. (In Russ.)].
Цветкова В., Родионов И., Калашникова Г. Возможности библиометрической оценки региональной научной деятельности // Информационные ресурсы России. 2023. № 1. С. 10-19 [Tsvetkova V, Rodionov I and Kalashnikova G (2023) Possibilities of bibliometric assessment of the regional scientific activity. Informacionnye resursy Rossii 1: 10-19. (In Russ.)].
García-Villar C and García-Santos JM (2021) Bibliometric indicators to evaluate scientific activity. Radiología 63: 228-235. DOI: 10.1016/j.rxeng.2021.01.002.
Huang X, Wang L and Liu W (2023) Identification of national research output using Scopus/Web of Science Core Collection: a revisit and further investigation. Scientometrics 128: 2337-2347. DOI: 10.1007/s11192-023-04649-x.
Krauskopf E (2017) Call for caution in the use of bibliometric data. Journal of the Association for Information Science and Technology 68 (8): 2029-2032. DOI: 10.1002/asi.23809.
от
GC Ш
m
ш О z
Ш
о от
