CC BY
6ДИСКУССИЯ: ПРОБЛЕМЫ И ПЕРСПЕКТИВЫ НАУКОМЕТРИИ В СОВРЕМЕННЫХ УСЛОВИЯХ
НЕСКОЛЬКО СЛОВ В ЗАЩИТУ НАУКОМЕТРИИ
Глушановский Алексей Валерианович1
1 Библиотека по естественным наукам РАН, Москва, Россия
Для цитирования: Глушановский А. В. Несколько слов в защиту наукометрии // Управление наукой: теория и практика. 2023. Т. 5, № 3. С. 14-21. йО! 10.19181/smtp.2023.5.3.1.
еры ягмиоу. АННОТАЦИЯ
Рассмотрен случай расширительного использования наукометрических показателей при комплексной оценке результатов научных исследований. На основании определения наукометрии, показывающего границы её использования, показано, что такое решение выходит за диапазон её возможностей и оценка результата научных работ, полученная таким образом, оказывается искажённой. Проводится анализ построения используемого показателя с точки зрения наукометрии и указывается на имеющиеся в нём недостатки. Указаны возможные средства для успешного использования наукометрии в современных условиях.
КЛЮЧЕВЫЕ СЛОВА:
наукометрия, определение, задачи, применение, границы использования
В настоящее время роль наукометрии как одного из инструментов анализа массивов научных публикаций в России начала меняться, выходя иногда на несвойственные ей позиции. С одной стороны, наукометрические показатели директивным порядком выводятся на роль почти единственного критерия оценки научной работы, с другой - информационная база, на основании которой они определяются, и сами инструменты наукометрии существенным образом меняются в связи с внешними событиями. Эти факты закономерно отражаются в массивах отечественных научных публикаций.
ВВЕДЕНИЕ
НАУКОМЕТРИЯ В СОВРЕМЕННОЙ СИТУАЦИИ
В последние годы в публикациях российских учёных заметно возросла частота использования термина «наукометрия». Причём нетрудно заметить, что рост числа появлений этого термина, например, в крупной российской БД eLIBRARY.RU, произошёл практически «скачком». Этот факт наглядно иллюстрируется рисунком 1.
250 200 Число упоминаний термина "наукометрия 1 по годам
150 100 50 0
2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021
Рис. 1. Число упоминаний термина «наукометрия» в документах базы данных eLIBRARY.RU
по годам их публикации.
Как видно из приведённого графика, в период с 2012 до 2016 гг. количество документов, содержащих этот термин в названии, ключевых словах или в реферате, возросло с 43 до 178, после чего перешло к колебаниям в небольших пределах. Более подробное изучение документов за последующий за рассмотренным периодом 2022 год обнаруживает, что содержание большинства из них концентрируется вокруг не столько собственно научных проблем наукометрии как таковой, а скорее вокруг одного из использований некоторых наукометрических показателей в области управления наукой в целом. Вот примеры характерных названий статей: «Семь лет под прицелом мнимых мировых стандартов наукометрии», «Цифровая наукометрия и научный этос: векторы расхождения и схождения», «Наукометрия в оценке деятельности российских учёных», «"Мусорные" журналы: наукометрия уб наука» и, наконец, «Наукометрия: панацея или беда?».
С учётом годов, в которые произошёл «скачок», все, кто как-то связан с российскими научными публикациями, безошибочно поймут, что речь идёт о внедрении (рядом приказов и постановлений) системы оценок научной деятельности научных организаций и вузов, в которой такая оценка целиком
базировалась на наукометрических показателях их публикационной деятельности (учитывались практически лишь публикации этих организаций в научной печати). При этом в изменяющейся от года к году системе отчётности фактически в качестве основного показателя научной деятельности устанавливался «Комплексный балл публикационной результативности» (КБПР)1, куда входили оцениваемые различными «баллами» публикации в тех или иных журналах, в значительной мере входящие в иностранные наукометрические базы данных и ранжируемые в них на основе ряда наукометрических показателей. Другие типы источников если и учитывались, то имели (в этом «комплексном балле») значительно меньший «вес» [1]. Эта система, спускаясь по ступеням «бюрократической лестницы» вниз (от научных учреждений к их подразделениям, иногда и до отдельных научных сотрудников), отражалась на существенных вопросах финансирования и других оценках подразделений, работников и в результате - на всей системе стимулирования научной работы, превращаясь в главное мерило научной работы на всех уровнях.
Так как научным сотрудникам, вынуждаемым руководствоваться в своей работе этими показателями, представляется, что это делается на «научной» (наукометрической) основе, их возмущение и возражения в основном обращены на наукометрию, и эти мнения разделяются по двум направлениям: попытки как-то улучшить предлагаемые критерии и предложения отказаться целиком от её использования в процессе оценки работы.
Подробный анализ общей создавшейся в нашей науке ситуации, одним из следствий которой являются и обсуждаемая нами проблема, и её возможные последствия, не входит в задачи данной статьи, и мы отсылаем читателей к достаточно подробным статьям исследователей А. В. Кулешовой, Д. Г. Подвойского [2] и А. Г. Фонотова [3].
Однако для нас основным представляется здесь вывод, что проблема состоит не столько в наукометрии как таковой, сколько в её использовании как единственного основного инструмента оценки научной деятельности, при том, что она отражает лишь один её аспект - публикационную активность - и должна использоваться лишь как вспомогательное (но важное и полезное) средство.
Для подтверждения этого вывода вернёмся немного назад, к первичной формулировке самого этого понятия. Термин «наукометрия» впервые был введён Василием Васильевичем Налимовым в монографии «Наукометрия: изучение науки как информационного процесса» [4], изданной совместно с З. М. Мульченко. Он определил её как «научное направление, входящее в науковедение и использующее количественные методы для изучения процесса развития науки». В то же время В. В. Налимов в «Докладной записке о возможности использования наукометрического анализа в управлении развитием науки на биологическом факультете МГУ» отмечал [5, с. 71-72]: «Надо подчеркнуть, что здесь речь идёт не об оценке научной значимости от-
1 Методика расчёта качественного показателя государственного задания «Комплексный балл публикационной результативности» для научных организаций, подведомственных Министерству науки и высшего образования Российской Федерации, на 2020 год // Министерство науки и высшего образования РФ: [сайт]. URL: https://minobrnauki.gov.ru/documents/?ELEMENT_ID=24754 (дата обращения: 07.07.2023).
дельного учёного, а только об оценке его вклада в научный информационный поток». Т. е. В. В. Налимов с самого начала чётко отличал наукометрические данные о проделанной работе от научной значимости работы в целом.
В работе [5] ещё раз отмечается: «Как полагал В. В. Налимов, для развития наукометрии требуется решение основных задач: что измерять и как измерять. Нужны и оценки — насколько выбранные количественные параметры действительно отражают развитие науки. Из измеряемых параметров наиболее распространены число публикаций, число научных сотрудников, размеры научных коллективов и пр. Это косвенные показатели характеризуют лишь отдельные аспекты процесса роста науки».
И в заключение приводим позицию Юджина Гарфилда (одного из самых известных в мире специалистов наукометрии, создателя БД Science Citation Index, в ходе развития превратившейся в современную Web of Sciencе), прямо касающуюся обсуждаемого вопроса. Отметим, что данные соображения были высказаны Ю. Гарфилдом в 2014 г., т. е. в период, когда описываемые нами события уже разворачивались и Ю. Гарфилд мог наблюдать их в реальности:
«Наукометрические показатели широко используются при оценке и продвижении научных сотрудников, выделении грантов и приёме на работу научно-исследовательского персонала. Однако мне хотелось бы подчеркнуть, что эти количественные данные не должны использоваться как единственный критерий оценки качества исследований научного учреждения или индивидуальных исследователей. Эти показатели могут способствовать формированию взвешенного экспертного суждения. Использование количественных данных без должного предварительного обучения обращению с ними и критического взгляда может воспрепятствовать прогрессу исследований и научных сотрудников» [6], что, к сожалению, похоже, и происходит в нашем случае.
Эту позицию Ю. Гарфилда, как и причину возникновения обсуждаемой проблемы, ещё раз подтверждает многолетний директор БАН В. П. Леонов: «Если в первые десятилетия администраторы в сфере науки и финансирующие органы с недоверием относились к библиометрическим показателям, то сегодня, по выражению Ю. Гарфилда, они стали "злоупотреблять цитированием"» [7].
В результате мы констатируем, что наукометрия с самого начала её применения рассматривалась её создателями как инструмент, с помощью которого могут быть получены важные, но далеко не исчерпывающие характеристики научного продукта, окончательная оценка которого должна производится специалистами-экспертами. Но в данном случае наукометрический показатель превратился в единственную оценку работы научного коллектива, что выходит далеко за пределы его реальных возможностей (но удобно в рамках бюрократической системы административного управления).
По сути же самого показателя (КБПР) — если рассматривать его с чисто наукометрической точки зрения — надо отметить ряд погрешностей.
Показатель применяется ко всем научным областям одинаково, хотя в некоторых областях науки практика публикаций имеет свои особенности и свои границы применения.
В рассмотрение принимается главным образом одна лишь часть публикационного потока — статьи в журналах, тогда как в нём присутствуют в разных долях и документы нескольких других типов [1].
Ранжирование журналов, от которого зависят увеличивающие их «вес» коэффициенты при расчёте КБПР, зависят от квартиля журнала (ранга в наукометрических БД журналов WoS, Scopus, РИНЦ), тогда как конкретная статья может иметь различную важность в зависимости от её научного содержания, и её научная значимость может заметно отличаться от общего уровня журнала, где она опубликована.
Система назначения «повышающего коэффициента» для тех или иных «классов» ранжирования (например, квартиля) никак не обоснована.
ТЛ и «
В результате данный показатель в значительном мере ориентирован на определённый тип документов (научные журналы, главным образом естественно-научного профиля). Принятая (или сложившаяся когда-то) в некоторых тематических областях форма опубликования результатов, утвердившаяся в научной среде, не всегда совпадает с правилами опубликования для класса документов, на которые «заточена» система, что приводит к обоснованным претензиям специалистов в области математики [8], а также гуманитарных и общественных наук [9]. Таким образом, как бы единый универсальный показатель на самом деле далеко не универсален.
ЗАКЛЮЧЕНИЕ
Переходя к современному использованию наукометрии, в свете проблем, возникших в последнее время из-за ограничений в доступе российских научных учреждений к мировым информационным сервисам и ресурсам, представляется целесообразным кратко оценить современные возможности российской наукометрии «на своём наукометрическом поле» в нынешней обстановке.
Следует прежде всего отметить существенные изменения в перечне «инструментов» , которыми ныне могут оперировать российские наукометристы. Стали недоступны для использования две наиболее популярные (а скорее — привычные) наукометрические БД - Wed of Science и Scopus. Однако российскими специалистами оперативно проанализированы и обобщены возможности, предоставляемые другими (открытыми) ресурсами и сервисами, в значительной мере восполняющими отсутствие упомянутых БД.
Во-первых, следует сказать, что и в современном состоянии ряд возможностей использования двух вышеупомянутых популярных БД остаётся доступным. Полную информацию об этом можно почерпнуть из «Практического руководства...», подготовленного специалистами БЕН РАН [10], а также из статьи одного из авторов этого руководства — Ю. В. Мохначевой — о возможностях использования этих и других находящихся в открытом доступе сервисов [11].
Во-вторых, следует также обратить внимание на недавно вышедшую во втором номере за 2023 год журнала «Управление наукой: теория и практика» статью В. Н. Гуреева и Н. А. Мазова [12], знакомящую с новыми возможностями доступных в современных условиях открытых ресурсов и сервисов.
И наконец, как совершенно справедливо указывает в своём обзоре российских библиометрических исследований [13] исследователь из Новосибирска А. Е. Гуськов, «большая часть российских наукометрических исследований отвечает в основном на вопросы вида "Как оценить..?" и "Сколько..?"». И далее, что в какой-то степени подтверждает то, о чём мы писали в нашей статье: «С учётом динамики развития наукометрии в России можно утверждать, что многие исследования ангажированы реформой науки, т. е. имеют под собой не только научную, но и политическую мотивацию» [13]. И затем он определяет более важные, с нашей точки зрения, вопросы, на которые должна отвечать наукометрия: «И лишь небольшая часть наукометрических исследований направлена на изучение сложных связей в структуре науки и перспективы её развития, изучая вопросы вида "Какая связь между..?", "Как улучшить..?", "Что будет, если..?" и т. д.» [13].
Таким образом, наукометристам есть над чем работать, для этого у них есть инструменты, и они могут и должны продолжать работу «на своём поле», результаты которой могут использоваться в других областях как науки, так и управления ею при условии понимания как их возможностей, так и границ их применения.
СПИСОК ИСТОЧНИКОВ
1. Мохначева Ю. В. Типы документов, индексируемых в базах данных WoS и Scopus: сходства, различия и их значение при анализе публикационной активности // Научно-техническая информация. Серия 1: Организация и методика информационной работы. 2023. № 1. С. 38-43. DOI 10.36535/0548-0019-2023-01-4. EDN KCNIMA.
2. Кулешова А. В. Парадоксы публикационной активности в поле современной российской науки: генезис, диагноз, тренды /А. В. Кулешова, Д. Г. Подвой^ий // Мониторинг общественного мнения: Экономические и социальные перемены. 2018. № 4. С. 169-210. DOI 10.14515/monitoring.2018.4.10.
3. Фонотов А. Г. Мобилизационная модель управления наукой: pro et contra // Управление наукой: теория и практика. 2023. Т. 5, № 2. С. 135-147. DOI 10.19181/ smtp.2023.5.2.10. EDN NBUSEB.
4. Налимов В. В. Наукометрия. Изучение развития науки как информационного процесса / В. В. Налимов, З. М. Мульченко. М. : Наука, 1969. 192 с.
5. Грановский Ю. В. Можно ли измерять науку. Исследования В. В. Налимова по наукометрии // Науковедение. 2000. № 1. С. 160-183.
6. Руководство по наукометрии: индикаторы развития науки и технологии: [монография] / М. А. Акоев, В. А. Маркусова, О. В. Москалева, В. В. Писляков : [под. ред. М. А. Акоева]. Екатеринбург : Изд-во Урал. ун-та, 2014. 250 с. DOI 10.15826/B978-5-7996-1352-5.0000.
7. Леонов В. П. Вспоминая Юджина Гарфилда (по материалам публикаций и личной встречи) // Научные и технические библиотеки. 2017. № 6. Р. 111-117. DOI 10.33186/1027-3689-2017-6-111-117. EDN WPKVGT.
8. Игра в цыфирь, или как теперь оценивают труд учёного. М. : МЦНМО, 2011.
9. Антопольский А. Б. Особенности анализа социогуманитарных наук как информационного процесса в цифровой среде // Информация и инновации. 2020. Т. 15, № 1. С. 8-22. DOI 10.31432/1994-2443-2020-15-1-8-22. EDN BULHFH.
10. Мохначева Ю. В. Практическое руководство с методическими рекомендациями по использованию бесплатных сервисов Web of Science и Scopus / Ю. В. Мохначева, Г. В. Калашникова. М. : БЕН РАН, 2023. 32 с.
11. Мохначева Ю. В. Возможные пути получения научной информации в новых условиях / Ю. В. Мохначева, В. А. Цветкова // Управление наукой: теория и практика. 2023. Т. 5. № 3. С. DOI 10.19181/smtp.2023.5.3.9 EDN CWUFWW.
12. Гуреев В. Н. Возрастание роли открытых библиографических данных в условиях ограничения доступа к коммерческим информационным системам / В. Н. Гуреев, Н. А. Мазов // Управление наукой: теория и практика. 2023. Т. 5, № 2. С. 49-76. DOI 10.19181/ smtp.2023.5.2.4. EDN CXJUHG.
13. Гуськов А. Е. Российская наукометрия: Обзор Исследований // Библиосфера. 2015. № 3. С. 75-86.
Статья поступила в редакцию 10.07.2023. Одобрена после рецензирования 26.07.2023. Принята к публикации 03.08.2023.
СВЕДЕНИЯ ОБ АВТОРЕ
Глушановский Алексей Валерианович avglush@mail.ru
Старший научный сотрудник, Библиотека по естественным наукам РАН, Москва, Россия
AuthorID РИНЦ: 1508
ORCID: 0000-0003-4637-5599
Web of Science ResearcherID: HGC-2700-2022
DOI: 10.19181/smtp.2023.5.3.1
A FEW WORDS IN DEFENSE OF SCIENTOMETRICS
Alexey V. Glushanovskiy1
1 Library for Natural Sciences of the RAS, Moscow, Russia
For citation: Glushanovskiy, A. V. (2023). A Few Words in Defense of Scientometrics. Science Management: Theory and Practice. Vol. 5, no. 3. P. 14-21. DOI 10.19181/smtp.2023.5.3.1.
Abstract. The extended use of scientometrics indicators case in a comprehensive results of scientific research assessment is considered. Based on the definition of scientometrics, showing the limits of its use, it is shown that such a solution goes beyond the range of its capabilities and the result of scientific works assessment obtained in this way is distorted. From the point of view of scientometrics analysis of the used indicator construction is carried out and its shortcomings in are pointed out. Possible means for the successful use of scientometrics in modern conditions are indicated.
Keywords: scientometrics, definition, main tasks, application, limits of use REFERENCES
1. Mokhnacheva, Ju. V. (2023). Document Types in WoS and Scopus: Similarities, Differences and Their Significance in the Analysis of Publication Activity. Nauchno-tekhnicheskaya informatsiya. Seriya 1: Organizatsiya i metodika informatsionnoi raboty. No. 1. P. 38-43. DOI 10.36535/0548-0019-2023-01-4 (In Russ.).
2. Kuleshova, A. V. and Podvoyskiy, D. G. (2018). Paradoxes of Publication Activity in the Field of Contemporary Russian Science: Genesis, Diagnosis, Trends. Monitoring of Public Opinion: Economic and Social Changes. No. 4. P. 169-210. DOI 10.14515/moni-toring.2018.4.10 (In Russ.).
3. Fonotov, A. G. (2023). Mobilization Model of Science Management: Pro et Contra. Science Management: Theory and Practice. Vol. 5, no. 2. P. 135-147. DOI 10.19181/ smtp.2023.5.2.10 (In Russ.).
4. Nalimov, V. V. and Mul'chenko, Z. M. (1969). Naukometriya. Izuchenie razvitiya nauki kak informatsionnogo protsessa [Scientometrics. Studying the development of science as an information process]. Moscow: Nauka. 192 p. (In Russ.).
5. Granovskii, Yu. V. (2000). Mozhno li izmeryat' nauku. Issledovaniya V. V. Nalimova po naukometrii [Is it possible to measure science. V. V. Nalimov's research on scientometry]. Naukovedenie. No. 1. P. 160-183. (In Russ.).
6. Akoev, M. A., Markusova, V. A., Moskaleva, O. V. and Pislyakov, V. V. Handbook for Scientometrics: Science and Technology Development Indicators. Ed. by M. A. Akoev. Ekaterinburg: Izdatelstvo Uralskogo universiteta. 250 p. DOI 10.15826/B978-5-7996-1352-5.0000 (In Russ.).
7. Leonov, V. P. (2017). Remembering Eugene Garfield (on materials of publications and personal meeting). Scientific and Technical Libraries. No. 6. P. 111-117. DOI 10.33186/1027-3689-2017-6-111-117 (In Russ.).
8. Igra v tsyfir', ili kak teper' otsenivayut trud uchenogo (sbornik statei o bibliometrike) [The game of tsifir, or how the work of a scientist is now evaluated (a collection of articles about bibliometrics)]. (2011). Moscow: MCCME. 72 p. (In Russ.).
9. Antopolsky, A. B. (2020). Features of the analysis of social sciences as an information process in a digital environment. Information and Innovations. Vol. 15, no. 1. P. 8-22. DOI 10.31432/1994-2443-2020-15-1-8-22 (In Russ.).
10. Mokhnacheva, Yu. V. and Kalashnikova, G. V. (2023). Prakticheskoe rukovodstvo s metodicheskimi rekomendatsiyamipo ispol'zovaniyu besplatnykh servisov Web of Science i Scopus [A practical guide with methodological recommendations on the use of free Web of Science and Scopus services]. Moscow: Library for Natural Science RAS. 32 p. (In Russ.).
11. Mokhnacheva, Yu. V. and Tsvetkova, V. A. (2023). Possible Ways to Search for Scientific Information in New Realities. Science Management: Theory and Practice. Vol. 5, no. 3. P. DOI 10.19181/smtp.2023.5.3.9
12. Gureev, V. N. and Mazov, N. A. (2023). Increased Role of Open Bibliographic Data in the Context of Restricted Access to Proprietary Information Systems. Science Management: Theory and Practice. Vol. 5, no. 2. P. 49-76. DOI 10.19181/smtp.2023.5.2.4 (In Russ.).
13. Guskov, A. E. (2015). Russian scientometrics: a review of researches. Bibliosphere. No. 3. P. 75-86. (In Russ.).
The article was submitted on 10.07.2023. Approved after reviewing 26.07.2023.
Accepted for publication 03.08.2023.
INFORMATION ABOUT THE AUTHOR Glushanovsky Aleksey avglush@mail.ru
Senior Researcher, Library for Natural Sciences of the RAS, Moscow, Russia
AuthorID RSCI: 1508
ORCID: 0000-0003-4637-5599
Web of Science ResearcherID: HGC-2700-2022
