CC BY-NC-ND
23
УДК 351.751.6
О наукометрических рейтингах и журнальной ВАКханалии
Рубинштейн А.Я.
В статье представлены результаты историко-методологического исследования формирования специальных перечней экономических журналов РИНЦ и ВАК и сопоставительный анализ указанных списков. Показано, что в основе каждого из них лежат наукометрические показатели и почти одинаковые методики расчета журнальных рейтингов. Однако преследуемые цели и природа таких списков совершенно разные: в одном случае журнальные списки РИНЦ носят строго информационный характер, в другом случае их формируют Минобрнауки и ВАК в качестве обязательной нормы для соискателей степени кандидата и доктора наук. При этом сильно расходящиеся результаты ранжирования журналов вызывают самые серьезные сомнения в их адекватности научным реалиям. Показано, что сомнения эти относятся к правильности применения информационного ресурса: необоснованно расширительная трактовка самих индикаторов и, главное, использование при построении рейтингов комбинации объективных наукометрических индикаторов с субъективными экспертными оценками. Соединить два разных вида информации в одном интегральном рейтинге - непростая задача. Ее решение прежде всего требует привлечения компетентных и независимых экспертов. Возможно, нужна открытая демократическая процедура отбора такой группы экспертов или определение репрезентативной выборки из большого массива специалистов. Необходимо использовать и адекватный алгоритм агрегирования двух разных типов информации. Произвольный выбор весов здесь просто недопустим. Один из итоговых выводов статьи связан с рекомендацией отмены требований ВАК в отношении любых журнальных списков или передачей этих функций собственным ученым советам университетов и академических институтов.
Ключевые слова: РИНЦ; ВАК; экономические журналы; наукометрические показатели; экспертные оценки; списки журналов; рейтинги.
DOI: 10.17323/1813-8691-2023-27-2-290-305
Рубинштейн Александр Яковлевич - д.ф.н, заслуженный деятель науки РФ, профессор, руководитель научного направления «теоретическая экономика» Института экономики РАН. E-mail: arubin@aha.ru
Статья поступила: 25.01.2023/Статья принята: 30.03.2023.
Для цитирования: Рубинштейн А.Я. О наукометрических рейтингах и журнальной ВАКханалии. Экономический журнал ВШЭ. 2023; 27(2): 290-305.
For citation: Rubinstein A.Y. About Scientometric Rankings and Journal BACchanalia. HSE Economic Journal. 2023; 27(2): 290-305. (In Russ.)
Испытывая определенные сомнения в отношении полезности наукометрии, я прочел довольно много работ, да и сам написал на эту тему немало статей. Надо сказать, что мнения российских и зарубежных коллег разделились. Одни считают показатели цитированное™ важными оценками научной деятельности, другие, наоборот, критикуют эту «игру в цифирь», указывая на фактическое отсутствие связи между индикаторами подобного рода и содержательными результатами исследований. Как и во многих других случаях, однозначного ответа здесь нет. Все дело в том, где и как используется этот информационный ресурс.
Само по себе цитирование является значимым инструментом авторского права, защищающего интеллектуальную собственность в науке. Без него, наверное, мы бы не узнали авторов научных идей и открытий. Кроме того, индикаторы цитируемости, как отмечают ряд ученых, являются хорошим ориентиром в постоянно увеличивающемся потоке научных публикаций, и вряд ли можно найти серьезные основания, чтобы отрицать полезность такой информации. При этом нельзя оставлять без внимания мотивы и условия ее использования. А вот здесь, к сожалению, далеко не все так хорошо.
Реорганизация государственных академий наук с подчинением академических институтов сначала печально известному ФАНО, а затем не менее бюрократическому Мин-обрнауки завершилась закреплением вмешательства патерналистского государства в научную жизнь страны [Рубинштейн, Городецкий, 2018, с. 41]. Пожалуй, с изменениями условий научной деятельности и стало процветать сомнительное использование наукометрии: вместо полезной информации ее индикаторы превратились в бюрократические нормы. Постепенно их выполнение стало главным требованием государственных заданий, а введение зависимости оплаты труда от числа публикаций и их цитирования сгенерировало и соответствующие мотивы научных работников.
Последствия реформ не заставили себя ждать. Изменение условий научной деятельности и появление денежной мотивации вызвали рост числа публикаций и их цитирования без увеличения новых знаний и просто содержательных результатов. Появление авторов, ограничивающих чтение работ знакомством с их аннотациями, и возникновение длинных постатейных списков в журнальных публикациях стало отличительной чертой нового времени. Возникли и умельцы вставлять в чужие статьи ссылки на собственные работы1, а также множество фальшивых публикаций и конференций [Смирнов, Лукьянов, 2022, с. 91]. Дальше больше - исследователи столкнулись с журналами, взымающими с авторов соответствующую плату, и на этом фоне стали произрастать и размножаться «мусорные журналы» [Шиповалова, 2014; Балацкий, Екимова, 2015]. Особую значимость в этой ситуации приобрели журналы, оказавшиеся в специальных списках.
1 Как мне рассказывал один из самых известных российских экономистов, однажды он обнаружил в верстке своей статьи в ее постатейном списке статьи авторов, на которые он никогда не ссылался.
Нормасписки. История их создания - это отдельный сюжет, и без Гоголя здесь обойтись трудно [Рубинштейн, Бураков, 2022, с. 4-5]. Сначала роль законодателя моды исполняла eLIBRARY.RU, создавшая в 2005 г. первую базу РИНЦ. Образованный 70 годами раньше ВАК, как будто, ждал этого2, обретя возможность вводить в свою деятельность нормы, опирающиеся на научные публикации. В рекомендациях по регулированию аттестации научных кадров Высшая аттестационная комиссия стала указывать, что соискатели научных степеней должны публиковать свои статьи в изданиях, включенных в базу РИНЦ. Так, собственно, и появился первый нормасписок журналов. Вслед за Л. Якобсоном отмечу, что не обошлось здесь и без желания органов управления «...приподняться над отечественным ландшафтом и взглянуть на него как на часть мирового» [Якобсон, 2021, с. 168]; приоритет почти сразу был отдан зарубежным базам Web of Science и Scopus3.
Шло время, все в большей степени проявлялся дрейф патерналистского государства в сторону эскалации его вмешательства во все сферы человеческой деятельности с опорой на самовозрастающую бюрократию и формирование различных нормативных установок. Этот процесс нашел отражение и в деятельности Российской академии наук: в 2010 г. Президиум РАН принял Постановление (№ 201 от 12.10.2010 г.) установившее в качестве «норматива эффективности научной деятельности число публикаций и их цити-рованности в отечественных изданиях, включенных в перечень ВАК и в РИНЦ»4.
В изменившихся условиях научной деятельности публикационная активность, в разрез с содержательными достижениями, демонстрировала значительные цифровые успехи, что вызвало и соответствующую волну критики5. В расширяющемся антибиблио-метрическом хоре довольно грубо прозвучало сравнение базы РИНЦ с «огромной помойкой» [Хантемиров, 2014]. На это обвинение почти сразу откликнулся Генеральный директор eLIBRARY.RU «Какая наука - такой и РИНЦ» [Еременко, 2014].
Ради объективности надо сказать, что оба правы. В конце концов, РИНЦ, пусть не совсем пригодными средствами, но лишь измеряет те результаты научной деятельности, которые производит наука, принявшая порочные правила игры, с мотивацией, часто противоречащей этике ученого. Как бы то ни было, но мусорные журналы с некачественными статьями в то время росли, как грибы, пополняя постоянно расширяющуюся базу РИНЦ.
2 Напомню, в Российской империи ученые степени присуждались непосредственно в университетах. В середине 30-х годов двадцатого столетия в СССР были вновь введены ученые степени и создан единый аттестационный орган, а в 1992 г., уже в Российской Федерации, была образована Высшая аттестационная комиссия (ВАК), которая вплоть до 2005 г. рассматривала диссертационные дела без всякой привязки к авторским публикациям в научных журналах.
3 При взгляде на «отечественную науку как часть мировой» нельзя не заметить, что защита диссертации, скажем в ведущих американских университетах, вовсе не обязывает соискателя иметь опубликованные работы, не говоря уже о каких-либо списках журналов, где они должны быть опубликованы. И кто знаком с зарубежным научным миром, хорошо знает, что любые списки журналов, включая Web of Science и Scopus, как и их рейтинги, хотя и имеют определенную сферу применения, но весьма далекую от формирования мнения сообщества ученых о научной значимости того или иного исследования и его автора.
4 См.: Приложение к Методике оценки результативности научных организаций Российской академии наук (Приложение 2 к Постановлению Президиума РАН от 12 октября 2010 г. № 201).
5 Легко соглашусь с Л. Якобсоном, что критика РИНЦ - это не всегда критика библиометрии. Во многих случаях речь идет о неумелости ее использования [Якобсон, 2021, с. 164-170].
Лучшие журналы и ВАКовская норма. В 2015 г. совместно с компанией Thomson Reuters был, как известно, разработан проект Russian Science Citation Index (RSCI) c целью создания базы научных статей, опубликованных в лучших российских журналах на платформе Web of Science. При этом сам список таких журналов, созданный на основе экспертных оценок с добавлением журналов, индексируемых в Web of Science Core Collection и Scopus, составил ядро РИНЦ.
Выполнив аналитическую работу, eLIBRARY.RU, кроме этого, ввела два перечня лучших журналов по тематике «Экономика. Экономические науки» - Ядро (37 изданий) и RSCI (33 издания), удалив из своей базы ряд мусорных журналов, чем вызвала явное недовольство ВАКа, ибо в его действующем нормасписке оказались журналы, уже не входящие в РИНЦ. Ответ последовал в 2019 г., когда ВАК выпустил новый нормативный документ6. Как сообщает Высшая аттестационная комиссия, произошло это «в связи с проводимой РИНЦ политикой произвольного исключения из РИНЦ изданий, уже включенных в утвержденный Минобрнауки России по рекомендациям Президиума ВАК Перечень научных изданий».
Здесь опять приходится прибегать к литературным ассоциациям: так началась «научная батрахомиомахия». Последствия этой «войны мышей и лягушек» стали неприятным сюрпризом для многих соискателей кандидатских и докторских диссертаций, а также для всех научных работников, чья оплата труда устанавливалась теперь в зависимости от публикаций в журналах из нормасписка ВАК. Бал продолжал править «административный восторг», и на этом поприще в спор вступила Российская академия наук.
Академический рейтинг. Если до начала двадцатых годов этого столетия Российская академия наук в данном вопросе принимала пассивное участие, то по мере общего процесса бюрократизации созрело решение о необходимости изменения позиции РАН и даже о разработке ее собственного академического рейтинга журналов. Вообще говоря, такой вердикт кажется явно сомнительным, и не только потому, что в этой задаче слишком много административного и мало научного, главное, что речь по-прежнему идет об инструментарии, подменяющем содержательные оценки научной деятельности разного рода цифровыми индикаторами. И очень трудно понять, почему РАН вообще должна быть обеспокоена журнальными рейтингами.
Но факт остается фактом. В итоге было принято соответствующее постановление, в первом пункте которого Президиум РАН «...высоко оценил проведенную работу по разработке критериев и формированию общего и предметных академических рейтингов лучших российских научных журналов, входящих в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science», но во втором пункте «одобрил в целом предложенный подход к формированию академического рейтинга научной периодики» (Постановление президиума РАН № 56 от 23.03.2021 г.).
Так начался новый раунд административной игры, направленный на создание особых списков научных журналов, причем, похоже, без оглядки на прежние «достиже-
6 В 2019 г. Высшая аттестационная комиссия представила новые рекомендации, в которых, в частности, говорится о том, что публиковать результаты диссертаций на соискание ученых степеней теперь можно и в журналах, не входящих в систему Российского индекса научного цитирования. См.: «Рекомендация ВАК от 26 июня 2019 г. № 1-пл/2 «Новые подходы к нормативно-правовому регулированию системы аттестации научных кадров высшей квалификации».
ния» и конфликт между ВАКом и РИНЦем. По замыслу специальной рабочей группы под руководством тогдашнего вице-президента РАН А.Р. Хохлова, научные журналы, входящие в RSCI, были распределены, в отличие от РИНЦ, по другим тематическим группам, соответствующим уже рубрикатору OECD. В итоге из 37 журналов ядра РИНЦ экономической тематики 16 были исключены; аналогичным образом из 33 журналов, входящих в базу RSCI, исключены 12. Не попали в предложенную тематическую группу «Economics and Business» такие известные издания как «Экономика и математические методы» и «Пространственная экономика».
При этом конструкторы академического списка включили в него 7 других журналов, не входящих ни в ядро РИНЦ, ни в базу RSCI по тематике «Экономика. Экономические науки». Речь идет об «Экономической социологии», журналах «Арктика и Север», «Вопросы статистики», «Банковское право», «Вестник Воронежского государственного аграрного университета», «Корпоративные финансы», «США и Канада: экономика, политика, культура». Всего в этой группе «избранных» оказалось 28 изданий самого разного профиля. В представленной ниже таблице все журналы приведены с номерами, которые соответствуют рейтингу «Science Index» в Ядре РИНЦ и RSCI, а также предложенному академическому рейтингу РАН (табл. 1)7.
Эта таблица удивляет не только самим списком научных журналов, но и рейтингами, которые им присвоены. Так, наивысший академический рейтинг получили «Проблемы прогнозирования», которые по рейтингу «Science Index» занимают в ядре РИНЦ 18 место и в списке RSCI - 16 место. Аналогичные сомнения вызывает и рейтинг журнала «Russian Journal of Economics» (2 место) с его 19 местом в Ядре и 17 позицией в списке RSCI. Я много раз спрашивал своих коллег, какой журнал они считают лучшим? И чаще всего был ответ - «Вопросы экономики». Подчеркну, ни «Проблемы прогнозирования», ни «Форсайт» и ни «Russian Journal of Economics» - дочернее предприятие «Вопросов экономики». Первое место «Вопросы экономики» занимают и по результатам общественной экспертизы того же eLIBRARY.RU. При этом Форсайт занимает лишь 16 позицию (табл.1).
Мимо такого списка журналов, разработанного группой академика А.Р. Хохлова и утвержденного Постановлением Президиума РАН в 2021 г., ВАК пройти не мог. Реакция последовала довольно быстро, и 6 декабря 2022 г. Минобрнауки и ВАК направили письмо главным редакторам, председателям редакционных коллегий и редакционных советов рецензируемых научных изданий, в котором сообщалось, что «сформирован новый перечень рецензируемых научных изданий, в которых должны быть опубликованы основные результаты диссертаций на соискание ученой степени кандидата наук, ученой степе-
7 В приведенной табл. 1 информация о журналах, входящих в ядро РИНЦ и в группу RSCI, а также их номера, соответствующие рейтингам Science Index, представлена на две даты - на 24 декабря 2022 г. и 31 марта 2023 г. Сопоставление этих данных, различающихся по времени на три месяца, указывает на некоторую неустойчивость результатов. Можно предположить, что данная ситуация обусловлена, в основном, не содержательными изменениями в публикационной активности, а неустоявшейся методикой расчетов. Причем нет оснований считать, что мартовские результаты «лучше» декабрьских. В обновленной методике, как в предыдущем ее варианте, достаточно произвольно решаются вопросы включения журналов в ЯДРО и RSCI, и особенно неприятным выглядит «вкусовое» построение весовой функции, интегрирующей наукометрические показатели в обобщенный рейтинг. С учетом этого в статье используются данные РИНЦ на 24.12.2023 г.
ни доктора наук по категориям». Итак, ВАК решил восстановить свою главную роль и сформировал очередной нормасписок журналов.
Таблица 1.
Журналы, входящие в РИНЦ (ЯДРО и RSCI) и список РАН
Номер в Ядре РИНЦ Номер RSCI Номер в РАН
24.12. 2022 г. 31.03. 2023 г. 24.12. 2022 г. 31.03. 2023 г.
Название журнала:
Вопросы экономики 12 1 9 1 3
Проблемы прогнозирования 18 2 15 2 1
Экономика региона 3
Мировая экономика и международные отношения 10 4 8 3 6
Russian Journal of Economics 19 5 16 4 2
Форсайт 1 6 1 5 4
ЭКО 28 7 25 6 17
Журнал НЭА 5 8 4 7 9
Terra Economicus 9
Пространственная экономика 13 10 10 8
Вестник международных организаций: образование, наука, новая экономика 3 11 2 9 15
Контуры глобальных трансформаций 17 12 14 10 24
Экономическая политика 8 13 7 11 10
Журнал институциональных исследований 6 14 5 12 8
Российский экономический журнал 34 15 31 13
Экономический журнал ВШЭ 4 16 3 14 7
Регион: экономика и социология 29 17 26 15 16
Проблемы управления 36 18 32 16
Современная Европа 31 19 28 17
Прикладная эконометрика 30 20 27 18 12
Деньги и кредит 32 21 29 19 5
Вестник Санкт-Петербургского университета. Экономика 7 22 6 20 14
Окончание табл. 1.
Номер в Ядре РИНЦ Номер RSCI Номер в РАН
24.12. 2022 г. 31.03. 2023 г. 24.12. 2022 г. 31.03. 2023 г.
Университетское управление: практика и анализ 16 23 13 21
Российский журнал менеджмента 20 24 17 22 11
Финансовый журнал 24 25 21 23
Прикладная информатика 37 26 33 24
Бизнес-информатика 14 27 11 25
Экономика и математические методы 33 28 30 26
Север и рынок: формирование экономического порядка 29
Управленец 30
МИР (Модернизация. Инновации. Развитие) 15 31 12 27
Финансы: теория и практика 21 32 18 28 20
Journal of Applied Economic Research 26 33 23 29 27
Вестник Московского университета. Серия 6: Экономика 22 34 19 30 25
Вестник Санкт-Петербургского университета. Менеджмент 25 35 22 31 18
Arts Administrandi. Искусство управления 27 36 24 32
Экономическая социология 13
Арктика и Север 19
Вопросы статистики 21
Банковское право 22
Вестник Воронежского государственного университета 23
Корпоративные финансы 26
США и Канада: экономика, политика, культура 28
Что же предложил ВАК? Понятно, что «список Хохлова» принципиально непригоден для использования в качестве требования к публикациям соискателей. О его фундаментальных недостатках уже было сказано и повторять их смысла нет. Вполне вероятно, что ВАК и Минобрнауки взволновали даже не столько сам академический перечень журналов, свидетельствующий о его полном расхождении с ВАКовскими представлениями, сколько недостаточное количество изданий для рекомендации соискателям.
Отказавшись от ограниченных списков РИНЦ (ядро - 37 журналов, RSCI - 33 журнала и, тем более, от списка РАН - 28 изданий), ВАК включил в общий перечень журналов по предметной области «Экономика, экономические науки» 328 журналов (!?), разбив их на три категории «в соотношении: K1- 25%; K2 - 50%; K3 - 25%» от общего количества8. Из письма главным редакторам журналов следует, что с этой целью была разработана и утверждена специальная «методика по оценке входящих в Перечень рецензируемых научных журналов для распределения по категориям», включающая пять стандартных наукометрических показателей и столько же качественных показателей. И на основании рекомендации ВАК «журналы, входящие в международные базы данных Web of Science, Scopus, ... и перечень журналов RSCI приравниваются к изданиям категории 1».
При этом из перечня журналов категории К1, созданной опять же анонимной рабочей группой ВАК и Минобрнауки, по неуказанным причинам и в противовес собственной методике, утвержденной Минобрнауки, были исключены 10 журналов входящих в перечень RSCI. Четыре журнала - Форсайт, Проблемы прогнозирования, Russian Journal of Economics, Записки Горного института, не вошли вообще ни в одну из трех категорий, а другие шесть помещены в категорию К2 (Arts Administrandi. Искусство управления, ЭКО, Современная Европа, Российский экономический журнал, Прикладная информатика) и категорию К3 (Journal of Applied Economic Research).
Одновременно с этим в категорию К1 по решению ВАК добавлены 37 других журналов, ряд из которых при всей условности указанных рейтингов и самой бурной фантазии трудно поставить в один ряд с журналами из списка RSCI или Ядра РИНЦ. Получается, что дело совсем не в качестве изданий, где должны публиковать свои работы соискатели научных степеней, а в том, кто определяет такой перечень журналов. Понятно, что на этом спор между ВАКом и РИНЦем завершиться не мог. Столько сил было потрачено на сокращение списков журналов, а некая рабочая группа ВАК опять создала невероятно большой нормативный перечень изданий. Подобную журнальную ВАКханалию eLIBRARY принять не могла.
Их «ответ Чемберлену». РИНЦ предложил новый рейтинг и сокращенную версию перечня научных журналов RSCI. Представленный рейтинг, как указано на официальном сайте eLIBRARY, «рассчитан с учетом недавнего обновления перечня журналов, входящих в базу RSCI, и актуальной библиометрической информации от крупнейших международных и отечественных агрегаторов научной информации»9.
8 Мне трудно объяснить, почему предложенный перечень журналов был разделен его создателями по каждой предметной области на три категории, а не в соответствии с известной практикой на четыре квартиля. При этом избыточно большое количество журналов, оказавшихся в нормаспи-ске ВАК, наводит на мысль о том, что, наверное, вообще нет никакого смысла ограничивать соискателей научных степеней в выборе журналов для публикации своих научных статей.
9 См.: Пресс-релиз Рабочей группы по оценке качества и отбору журналов в Russian Science Citation Index (RSCI) о сводном рейтинге журналов RSCI (01.12.2022).
В табл. 2 представлены все предыдущие версии рейтингов РИНЦ и соответствующие им списки лучших журналов в сравнении с перечнем журналов РАН и актуальным нормасписком журналов ВАК, включенных в первую категорию К1. Оставляя в стороне непосредственный анализ этой заслуживающей особого внимание таблицы, отмечу две противоположные тенденции: длина списков лучших журналов по версии РИНЦ сокращается от 37 (ядро) и 33 (RSCI) до 29 (RSCI_2), при существенном увеличении перечня журналов ВАК свыше 328 изданий и включении в первую категорию К1 более 80 журналов (табл. 2).
Данный факт свидетельствует о принципиально разных целях ранжирования журналов двух противоборствующих сторон, что соответствует самой природе формирования перечней журналов в РИНЦ и нормасписка ВАК10, порождая расходящиеся результаты ранжирования. Данный вывод подтверждают и материалы теоретико-методологического исследования Л. Якобсона [Якобсон, 2021, с. 164-165].
Таблица 2.
Сравнительные списки журналов
Название журнала (экономика) Номер в Ядре РИНЦ Номер в RSCI Номер в РАН Категории ВАК Номер в RSCI-22 Квартили RSCI-22
Форсайт 1 1 4 1 Q1
Вопросы экономики 12 9 3 К1 2 Q1
Russian Journal of Economics 19 16 2 3 Q1
Проблемы прогнозирования 18 15 1 4 Q1
Журнал НЭА 5 4 9 К1 5 Q1
Экономический журнал ВШЭ 4 3 7 К1 6 Q 1
Пространственная экономика 13 10 К1 7 Q1
Журнал институциональных исследований 6 5 8 К1 8 Q2
Прикладная эконометрика 30 27 12 К1 9 Q2
Бизнес-информатика 14 11 К1 10 Q2
Экономическая политика 8 7 10 К1 11 Q2
10 Напомню, что создание единого аттестационного органа в СССР (1932 г.) было вызвано общим дефицитом квалифицированных и одновременно идеологически выдержанных ученых. Созданная Высшая аттестационная комиссия (ВАК) в новой России в первое свое десятилетие избежала идеологических норм и излишней бюрократизации, но уже в 2002 г. установила введение журнального списка ВАК, обязательного для публикаций соискателей докторских степеней. В «Положении о порядке присуждения ученых степеней», утвержденном постановлением Правительства Российской Федерации (№ 74 от 30.01.2002 г., п.11) указывалось: «Основные научные результаты докторской диссертации должны быть опубликованы в ведущих рецензируемых научных журналах и изданиях. Перечень указанных журналов и изданий определяет ВАК».
Продолжение табл. 2.
Название журнала (экономика) Номер в Ядре РИНЦ Номер в RSCI Номер в РАН Категории ВАК Номер в RSCI-22 Квартили RSCI-22
Вестник Санкт-Петербургского университета. Экономика 7 6 14 К1 12 Q2
Российский экономический журнал 34 31 13 Q2
Регион: экономика и социология 29 26 16 К1 14 Q2
ЭКО 28 25 17 15 Q3
Экономика и математические методы 33 30 К1 16 Q3
Финансы:теория и практика 21 18 20 К1 17 Q3
Arts Administrandi. Искусство управления 27 24 18 Q3
Вопросы статистики 19 Q3
Финансовый журнал 24 21 К1 20 Q3
Journal of Applied Economic Research 26 23 27 21 Q3
Вестник Московского университета. Серия 6: Экономика 22 19 25 К1 22 Q3
Вестник Воронежского государственного университета 23 Q3
Вестник Санкт-Петербургского университета. Менеджмент 25 22 18 К1 24 Q4
Деньги и кредит 32 29 5 К1 25 Q4
Стандарты и качество 26 Q4
Корпоративные финансы 27 Q4
МИР (Модернизация. Инновации. Развитие) 15 12 К1 28 Q4
Банковское право 29 Q4
Вестник международных организаций: образование, наука, новая экономика 3 2 15 К1
Мировая экономика и международные отношения 10 8 6 К1
Университетское управление: практика и анализ 16 13 К1
Контуры глобальных трансформаций:
политика, экономика, право 17 14 24 К1
Окончание табл. 2.
Название журнала Номер Номер Номер Кате- Номер Квар-
(экономика) в Ядре в RSCI в РАН гории в RSCI-22 тили
РИНЦ ВАК RSCI-22
Российский журнал менеджмента 20 17 11 К1
Записки Горного института 20
Современная Европа 31 28
Проблемы управления 36 32 К1
Прикладная информатика 37 33
Следует отметить еще два обстоятельства. Во-первых, как указывалось в «Положении о порядке присуждения ученых степеней», нормативное требование к списку журналов относилось только к соискателям степени доктора наук и уже позже было распространено на соискателей кандидатской степени. Во-вторых, нетрудно заметить, что категория «ведущих рецензируемых научных журналов», о котором говорится в том же Положении, трактуется неодинаково. В одном случае список таких журналов, носящий информационный характер, определяет РИНЦ на основе библиометрических рейтингов, в другом случае его формирует Минобрнауки и ВАК в качестве обязательной нормы, подлежащей выполнению.
В контексте обсуждения журнальных списков в различных базах и конфликта между ВАКом и РИНЦем имеет смысл воспользоваться результатами регулярных социологических опросов, которые проводит Новая экономическая ассоциация11. Одним из постоянных сюжетов этих опросов являются ответы респондентов на вопрос: «Какая база данных, в которой индексируются статьи, является для Вас наиболее важной?». Результаты мониторинга в 2017 и 2022 гг. приведены в табл. 3
Таблица 3.
Сравнение оценок важности баз данных для индексации статей (в 2017 г. - в интервале от 1 до 3; в 2022 г. - в интервале от 1 до 5)
Базы данных 2017 г. Базы данных 2022 г.
среднее значение медиана среднее значение медиана
РИНЦ 1,92 2,00 Список ВАК 3,86 4
Список ВАК 1,62 1,00 РИНЦ 3,45 4
Web of Science 1,90 1,99 Web of Science 4,05 5
Scopus 1,90 1,90 Scopus 4,03 4
Источник: таблица составлена на основании [Рубинштейн, Бураков, 2022, с. 9].
11 Результаты мониторинга экономических журналов неоднократно обсуждались в авторских публикациях [Рубинштейн, 2016; 2018; 2019; 2021].
Таблица 3 свидетельствует, что в 2022 г. нормасписок ВАК стал важнее любых журнальных перечней РИНЦ. «Высшая аттестационная комиссия и Минобрнауки, осуществив соответствующие меры в части государственного задания и системы оплаты научного труда, добились своего: почти три четверти респондентов (71,3%) считают наиболее важным индексацию статей в изданиях из перечня ВАК и лишь немногим больше половины (52,7%) предпочитают РИНЦ, уступая Web of Science (55,8%) и Scopus (55,4%)» [Рубинштейн, Бураков, 2022, с. 9].
Когда в сфере науки расширяются бюрократические формы управления, чиновники, объективно не обладающие знаниями содержательно оценивать, что для развития науки важно, ищут свои точки опоры, устанавливая из своих соображений «порядок» и соответствующие ему нормы - «как должно быть». В этом смысле «ведущие рецензируемые научные журналы» - не самый плохой критерий, и, конечно же, это много лучше старой нормы - «идеологически выдержанных ученых». Хотя, как свидетельствуют реалии российской жизни, для большинства соискателей научной степени из числа чиновников публикации в таких журналах не представляют проблемы.
В целом же можно сформулировать такой вывод: если РИНЦ-индексация журналов имеет хоть какой-то смыл, то нормасписки ВАКа, используемые исключительно в качестве инструментария управления наукой, подталкивают соискателей к «подгонке» своих диссертационных исследований под ВАКовские стандарты и лишь затрудняют работу научных организаций и диссертационных советов. Но нужно ли вообще ранжирование журналов, а если нужно, то для кого? Ответить на этот вопрос не так-то просто. Можно предположить, что рейтинги журналов создают ориентиры для авторов, влияя на их мотивацию. Вероятно, не менее верным является и допущение о том, что высокий ранг журнала создает ему конкурентное преимущество на интегрированном рынке публикаций и увеличивает его аудиторию. Все это выглядит правдоподобным, если бы не одно «но».
О доверии к рейтингам. Вернусь к началу статьи и сомнениям в отношении наукометрии. Должен сказать, что эти общие слова нуждаются в уточнении. Если говорить о самой наукометрии, то задачей этой статистической области науковедения является измерение основных характеристик публикаций - их частоты и цитируемости, а также различных производных показателей - импакт-факторов, индексов Херфиндаля и Хирша, ряда других полезных индикаторов. Собственно, этим и должна заниматься eLIBRARY.RU, накапливая указанную информацию в соответствующей базе данных.
Сомнения относятся к правильности применения этого информационного ресурса: необоснованно расширительная трактовка самих индикаторов и, главное, использование при построении рейтингов комбинации наукометрических индикаторов с так называемыми экспертными оценками. Объективное отсутствие в наукометрических показателях содержательных характеристик научных публикаций заставляет создателей рейтингов привлекать экспертов для восполнения недостающей информации их субъективными оценками. Соединить же два разных вида информации в одном интегральном рейтинге - задача очень трудная.
Для ее решения нужно, во-первых, обладать уверенностью в компетентности, объективности и независимости привлекаемых экспертов. Одним названием «рабочая группа» выполнить это условие невозможно. По всей видимости, нужна какая-то открытая демократическая процедура отбора такой группы экспертов или определение репрезентативной выборки из большого массива специалистов.
Во-вторых, необходимо иметь адекватную процедуру (алгоритм) агрегирования неоднородных типов информации, включая различные наукометрические показатели. Произвольный выбор весовой функции здесь просто неуместен. Я уже отмечал волатиль-ность результатов расчета рейтингов даже на очень коротком временном интервале, свидетельствующую о замещении алгоритма произвольным решением, в лучшем случае о поиске «хорошей» весовой функции. И в этом смысле объявленная новая методика, хотя и отличается от старой набором наукометрических показателей (теперь это только им-пакт-фактор, индекс Хирша и длина текста статей), по-прежнему страдает произволом, как в выборе показателей, так и в установлении их весов. При этом максимальный вес установлен для импакт-фактора, который, как известно, обладает многими недостатками.
Сошлюсь в связи с этим на Декларацию об оценке научных исследований, принятую в Сан-Франциско в 2012 г., первый пункт рекомендаций которой гласит: «Следует избегать использования журнальных метрик, таких как импакт-фактор, для оценки качества отдельных научных статей, вклада конкретного ученого или принятия решений о найме, продвижении по службе или финансировании исследований»12.
Российский опыт и почти 20-летняя практика свидетельствуют, что эти, в том числе организационные, проблемы решить пока не удалось. Экономические журналы - это не теннис или шахматы, где рейтинги определяются победами на корте или за доской. Использование же вместо спортивных побед показателей цитирования, включая различные импакт-факторы в комбинации с субъективными оценками ангажированных и/или уполномоченных на то членов рабочих групп, порождает, мягко говоря, неожиданные результаты. В качестве примера рассмотрим в связи с этим первую десятку журналов (на 7 января 2023 г.) по рейтингу «Science Index» из базы данных RSCI (табл. 4).
Таблица 4.
Десятка лидеров журналов RSCI по рейтингу «Science Index»
Журнал Номер по рейтингу Science Index Номер по общественной экспертизе
Форсайт 1 6
Вестник международных организаций: образование, наука, новая экономика 2 8
Экономический журнал ВШЭ 3 5
Журнал Новой экономической ассоциации 4 3
Journal of Institutional Studies 5 9
Вестник Санкт-Петербургского университета. Экономика 6 4
Мировая экономика и международные отношения 7 2
Вопросы экономики 8 1
Пространственная экономика 9 7
Бизнес-информатика 10 10
Источник: https://elibrary.ru/titles.asp
12 См.: https://sfdora.org/read/read-the-declaration
В комментарии к табл. 4 достаточно сказать, что лидирующие позиции (первое и второе место) по данному рейтингу занимают журналы «Форсайт» и «Вестник международных организаций: образование, наука, новая экономика». Ничего кроме удивления такие результаты ранжирования вызвать не могут. С учетом же того, что в хвосте десятки оказались «Вопросы экономики», высказанное удивление превращается в сомнение в адекватности РИНЦевской библиометрии со всеми ее индикаторами и методикой расчетов, формируя устойчивое недоверие к подобному ранжированию журналов. Подтверждают этот вывод представленные той же eLIBRARY.RU результаты общественной экспертизы (табл. 4) и, что не менее важно, итоги социологического опроса Новой экономической ассоциации 2022 г., в процессе которого лишь 30% респондентов указали на соответствие рейтинга Science Index в базе данных RSCI их собственным представлениям.
Вместо заключения. Сформулирую несколько общих выводов. Во-первых, подвергая критике разного рода рейтинги и ранжирование журналов, построенные на основе наукометрических показателей, следует отделять собственные «грехи» наукометрии от ошибок использования ее инструментария. При всей очевидности не слишком большой валидности библиометрических показателей научных достижений они, тем не менее, несут в себе хоть какую-то полезную информацию. Что же касается рейтингов, построенных на их основе, то здесь претензий гораздо больше, и во многом связаны они с плохими методиками определения этих рейтингов и довольно типичным вопросом «а судьи кто?».
Во-вторых, использование наукометрических показателей в качестве норм научной деятельности, создающих соответствующие ограничения и стимулы для ученых, если и возможно, то только в том случае, когда эти нормы устанавливают для своих организаций собственные Ученые советы университетов и академических институтов, причем желательно лишь в форме рекомендаций для диссертационных советов.
В-третьих, уже многие годы возглавляя Совет по защите кандидатских и докторских диссертаций, участвуя в работе ряда других диссертационных советов, я готов утверждать, что для определения достоинств защищаемой работы не требуется знать, где были опубликованы статьи соискателя. И если какой-то диссертационный совет нуждается в такой информации, то это означает лишь то, что у его членов не хватает необходимой компетенции и они пытаются ее заместить авторитетом журнала13. Думаю, настал момент, когда нужно отменить требования ВАК в отношении любых журнальных списков.
* * *
СПИСОК ЛИТЕРА ТУРЫ
Балацкий Е.В., Екимова Н.А. Проблема манипулирования в системе РИНЦ // Вестник УрФУ. Серия «Экономика и управление». 2015. № 14 (2). С. 166-178.
13 Мне известно альтернативное мнение, основанное на том, что ряд диссертационных советов состоит из псевдоученых и потому необходимо создавать барьеры решениям таких советов. С первой частью этого суждения трудно не согласиться. Но вместо составления нормативных журнальных списков более правильно, думается, заниматься «чисткой» подобных диссертационных советов.
Еременко Г. Во всем виноват РИНЦ? // Троицкий вариант - Наука. ТрВ. 2014. № 163. С. 7.
Рубинштейн А.Я. Ранжирование российских экономических журналов: научный метод или «игра в цифирь»? // Журнал Новой экономической ассоциации. 2016. № 2(30). С. 162-175.
Рубинштейн А.Я. Российские экономические журналы: табель о рангах // Экономическая наука современной России. 2018. № 1. C. 108-130.
Рубинштейн А.Я. Не РИНЦем единым // Журнал Новой экономической ассоциации. 2019. №4 (44). С. 245-259.
Рубинштейн А.Я., Бураков Н.А. Экономическая наука и публикационная активность в патерналистском государстве // Управленец. 2022. Т. 13. № 4. C. 3-14.
Рубинштейн А.Я. Городецкий А.Е. Государственный патернализм и патерналистский провал в теории опекаемых благ // Journal of Institutional Studies (Журнал институциональных исследований). 2018. Т. 10. № 4. С. 38-57.
Рубинштейн А.Я. Государственный патернализм: наукометрический провал // Journal of Institutional Studies (Журнал институциональных исследований). 2021. Т.13. С. 20-36.
Смирнов Е.Н., Лукьянов СА. «Мусорные» журналы: наукометрия vs наука // Управленец. 2022. Т. 13. № 4. С. 83-95.
Хантемиров Р. РИНЦ: от примитивного мошенничества до растления малолетних // Бытие науки. 2014. ТрВ № 163. С. 6.
Шиповалова Л.В. Индекс цитирования и объективность экспертов (попытка философствования на злобу дня) // Высшее образование в России. 2014. № 2. С. 119-125.
Якобсон Л.И. Сообщество исследователей и оценки «академической успеваемости» // Журнал Новой экономической ассоциации. 2021. № 2 (50). C. 164-170.
About Scientometric Rankings and Journal BACchanalia
Alexander Rubinstein
Institute of Economics RAS, 32, Nakhimovsky prospect, Moscow, 117218, Russian Federation.
E-mail: arubin@aha.ru
The article presents the results of historical and methodological research into the formation of special lists of economic journals of RSCI and VAK, and a comparative analysis of these lists. It is shown that each of them is based on Scientometric indicators and almost identical methods of calculating journal rankings. However, the goals pursued, and the nature of such lists are quite different: in one case the journal lists of RSCI are strictly informative in nature, in the other case they are formed by the Ministry of Education and Science and the Higher Attestation Commission as an obligatory norm for candidates for a Ph. At the same time, the widely divergent results of the ranking of journals raise the most serious doubts about their adequacy to scientific realities. It is shown that these doubts relate to the correctness of the information resource application: an unreasonably expansive interpretation of the indicators themselves and, most importantly, the use of a combination of objective Scientometric indicators and subjective expert evaluations when constructing the rankings. It is not an easy task to combine two different types
of information in a single integral rating. Its solution, first of all, requires the involvement of competent and independent experts. Perhaps an open democratic procedure of selecting such a group of experts or defining a representative sample from a large array of specialists is needed. It is necessary to use an adequate algorithm of aggregation of two different types of information. Arbitrary selection of weights is simply unacceptable here. One of the final conclusions of the article is related to the recommendation to abolish VAK requirements to any journal lists or to transfer these functions to their own Academic Councils of universities and academic institutions.
Key words: RSCI; VAK; economic journals; scientometric indicators; expert evaluations; lists of journals; ratings.
JEL Classification: A11, A12, A14, I23, I28.
* * *
References
Balatsky E.V., Ekimova N.A. (2015) The Problem of Manipulation in the RSCI System. Bulletin of Ur FU. Series "Economics and Management", 14, 2, pp. 166-178. (in Russ.)
Hantemirov R. (2014) RSCI: From Primitive Fraud Abuse to Child Molestation. Bytie Nauki - The Genesis of Science, 63, p.6. (in Russ.)
Rubinstein A.Y. (2016) Ranking Russian Economic Journals: Scientific Method or "Game of Figures"? Journal of the New Economic Association, 2, 30, pp. 162-175. (in Russ.)
Rubinstein A.Y. (2018) Russian Economic Journals: A Table of Ranks. Economic Science of Modern Russia, 1, pp. 108-130. (in Russ.)
Rubinstein A.Y., Gorodetsky A.E. (2018) State Paternalism and Paternalist Failure in the Theory of the Tutelary Goods. Journal of Institutional Studies, 10, 4, pp. 38-57. (in Russ.)
Rubinstein A.Y. (2019) Not RINTS Alone. Journal of the New Economic Association, 4, 44, pp. 245259. (In Russ.)
Rubinstein A.Y. (2021) State Paternalism: A Scientometric Failure. Journal of Institutional Studies, 13, pp. 20-36. (in Russ.)
Rubinstein A.Y., Bourakov N.A. (2022) Economic Science and Publication Activity in a Paternalistic State. Manager, 13, 4, pp. 3-14. (In Russ.)
Shipovalova L.V. (2014) Citation Index and Objectivity of Experts (an attempt at philosophizing on the subject). Higher Education in Russia, 2, pp. 119-125. (in Russ.)
Smirnov E.N., Lukyanov S.A. (2022) "Trash" Journals: Scientometrics vs Science. Manager, 13, 4, pp. 83-95. (In Russ.)
Yakobson L.I. (2021) Community of Researchers and Assessment of "Academic Achievement". Journal of the New Economic Association, 2, 50, pp. 164-170. (in Russ.)
Yeremenko G. (2014) Is it All RINC's Fault? trv-science.ru, 163, p. 7. (in Russ.)
