CC BY
25
www.hjournal.ru
Journal of Institutional Studies, 2021, 13(3): 20-36 DOI: 10.17835/2076-6297.2021.13.3.020-036
ГОСУДАРСТВЕННЫЙ ПАТЕРНАЛИЗМ: НАУКОМЕТРИЧЕСКИЙ ПРОВАЛ
АЛЕКСАНДР ЯКОВЛЕВИЧ РУБИНШТЕЙН,
Института экономики РАН, Государственный институт искусствознания,
Москва, Россия, e-mail: arubin@aha.ru
Цитирование: Рубинштейн, А.Я. (2021). Государственный патернализм: наукометрический провал // Journal of Institutional Studies 13(3): 20-36. DOI: 10.17835/2076-6297.2021.13.3.020-036
В статье представлены результаты исследования общественного мнения в контексте реформирования науки. Принятие Закона о Российской академии наук закрепили вмешательства государства в научную жизнь, обусловив одновременно эскалацию применения наукометрии. Оценки респондентов в отношении использования наукометрических показателей и ранжирования журналов свидетельствуют, что наукометрический инструментарий особого доверия у экономистов не вызывают. Опираясь на результаты социологического опроса сообщества экономистов в 2020 году, в статье сделан вывод о наличии «наукометрического провала» патерналистского государства. Представлен также анализ наукометрических показателей, используемых в Scopus, включая три известные метрики: CiteScore, SNIP, SCImago (SJR). Кроме описания выборки журналов и масштабов мониторинга представлен критерий ранжирования журналов MWR и алгоритм его определения в сравнении с индикатором SJR в Scopus. Сопоставление алгоритмов расчета этих показателей позволило сформулировать общий вывод: если в этих индикаторах, включая SJR, базовой единицей информации является «ссылка» на цитирование статьи, то сам по себе факт цитирования не содержит никакой информации в отношении научного уровня журналов. В заключительной части статьи обсуждается эконометрическая модель, в основе которой лежит гипотеза о наличии связей между ранжированием журналов, полученным на основе социологического опроса экономистов, и оценками этих же респондентов «полезности» введения соответствующих наукометрических показателей. Выполненные расчеты подтвердили сформулированную гипотезу и позволили количественно измерить влияние отношения респондентов к наукометрическим показателям на величину частных рейтингов, отражающих Научный уровень журнала, Общественный престиж журнала и Интерес к публикациям журнала.
Ключевые слова: экономическое сообщество; экономические журналы; рейтинги журналов; ранжирование журналов; наукометрические показатели; социологический опрос; экспертные оценки; многомерный статистический анализ; журнальные кластеры
© Рубинштейн А.Я., 2021
STATE PATERNALISM: FROM SCIENCE TO SCIENTOMETRICS
ALEXANDER YA. RUBINSTEIN,
Institute of Economics, Russian Academy of Sciences,
State Institute of Art Sciences Moscow, Russia, e-mail: arubin@aha.ru
Citation: Rubinstein, A.Yа. (2021). State paternalism: From science to scientometrics. Journal of Institutional Studies 13(3): 20-36. DOI: 10.17835/2076-6297.2021.13.3.020-036
The article presents the results of the study of public opinion in the context of science reforming. The adoption of the Law on the Russian Academy of Sciences has in fact liquidated academic freedoms and consolidated state interference into scientific life by simultaneously escalating the use of Scientometrics. Respondents' assessments of the use of Scientometric indicators and journal rankings indicate that most economists do not trust the Scientometric tools. Based on the results of a sociological survey of the community of economists in 2020, the article concludes that there is a "managerial failure" of the paternalistic state. An analysis of the Scientometric indicators used in Scopus is also presented, including three well-known metrics: CiteScore", SNIP, and SCImago (SJR). In addition to the description of the sample of journals and the scale of monitoring, the author presents the criterion of ranking the journals MWR and the algorithm of its definition in comparison with the SJR indicator in Scopus. The final part of the paper discusses the econometric model based on the hypothesis that there are links between the ranking of journals, obtained on the basis of a sociological survey of economists, and the estimates of the "usefulness" of the introduction of relevant Scientometric indicators by the same respondents. The calculations performed have confirmed the formulated hypothesis and allowed to quantitatively measure the impact of the respondents' attitude to Scientometric indicators on the value of private ratings reflecting the Scientific level of the journal, the public prestige of the journal and Interest in the journal publications.
Keywords: economic community; economic journals; journal ratings; journal ranking; scientometric indicators; sociological survey; expert assessments; multivariate statistical analysis; journal clusters
JEL: A11, A12, A14, I23, I28
Применение инструментария наукометрии для оценки отдельных персоналий, научных журналов и результатов исследований не в первый раз оказывается в центре внимания научной общественности и уже довольно давно обсуждается в работах российских и зарубежных ученых. Причем критическая направленность этих публикаций явно усиливается (Адлер, Эвинг, Тейлор, 2011; Идеи и числа, 2016; Молини, Боденхаузен, 2017; Мастепанов, 2020; Gaming the Metrics: Misconduct and Manipulation in Academic Research, 2020). В обратном направлении развивается административная практика, где с каждым годом показатели количества опубликованных статей и их цитируемость начинают играть все большую роль в научной карьере и заработной плате сотрудников научных организаций и университетских преподавателей.
На этом фоне ряд специалистов готовы согласиться с тем, что для разумного управления необходимы количественные критерии определения эффективности научной деятельности. Оспаривая этот тезис, другие представители экономического сообщества высказывают сомнения в обоснованности наукометрического инструментария управления наукой, полагая необходимым сохранить академические традиции, основанные на практике содержательного рецензировании и экспертизы специалистов соответствующей области.
Не вызывает сомнений в связи с этим актуальность измерений общественного мнения, которые позволили бы выяснить реальный дискурс. На решение данной задачи, собственно, и направлена настоящая статья, в которой представлены результаты очередного социологического опроса, проведенного Новой экономической ассоциацией в 2020 г. Особенности данного исследования обусловлены результатами измерений в двух направлениях: с одной стороны, отношения экономистов непосредственно к наукометрическому инструментарию, с другой стороны — рейтингов экономических журналов, построенных на основе экспертных оценок представителей экономического сообщества.
Важным итогом является разработанная регрессионная модель, подтвердившая выдвинутую гипотезу о наличии зависимости оценок частных рейтингов — Научный уровень, Общественный престиж и Интерес к публикациям журнала, от оценок полезности тех или иных наукометрических индикаторов, которые дали респонденты п процессе социологического опроса. К этому добавлю, что построенная модель позволила во многом представить содержательное объяснение существующего разброса мнений в отношении наукометрии.
1. От науки к наукометрии
Все начиналось с безобидной «игры в цифирь», позволяющей, не вникая в содержание работ, их новизну и научную ценность, на основе простых арифметических расчетов увидеть, какие публикации и какие авторы популярны с точки зрения цитируемости. Постепенно этот легкий жанр, не нуждающийся в научных дискуссиях и позволяющий с опорой на наукометрические показатели ограничиваться чтением аннотаций, не изучая статьи полностью, стал вытеснять принятые в науке рецензирование и экспертные оценки, требующие погружения в опубликованные работы и их содержательный анализ. Эскалация метода наукометрической оценки научной деятельности — безусловный грех самого научного сообщества.
Ситуацией воспользовалось дрейфующее в сторону абсолютизации своего ведения патерналистское государство с самовозрастающей бюрократией и ее нежеланием оставаться «кассиром», финансирующим науку без возможности управлять ею (Рубинштейн, Городецкий, 2018: 41). Подменив общественный выбор авторитарным решением, оно провозгласило неэффективность отечественной науки, обозначив в качестве причины «раздражающей» власть академическое самоуправление.
Принятый Федеральный закон от 27 сентября 2013 г. № 253-Ф3 «О Российской академии наук, реорганизации государственных академий наук и внесении изменений в отдельные законодательные акты Российской Федерации» фактически ликвидировал традиционные академические свободы и закрепил легитимность прямого вмешательства государства в научную жизнь страны. Но это уже вина патерналистского государства, которое не захотело услышать возражения ученых.
С тех пор «игра в цифирь» стала главным инструментом управления наукой на всех уровнях ее взаимодействия с патерналистским государством: от Администрации Президента, Министерства науки и высшего образования РФ, руководства РАН и ВАК до дирекций научных организаций, ректоратов ВУЗов и фондов поддержки науки и образовании. При этом цитируемость, трактуемая как измеритель эффективности науки, превратилась «в административную дубинку, которая не только ранжирует ученых по этому показателю, но и оценивает их вклад в научные разработки» (Идеи и числа, 2016: 59-60).
Оценки публикационной активности стали определять работу аспирантов и их научных руководителей, доступ к грантам и зарплаты для большинства ученых и преподавателей. Введение же «эффективного контракта» узаконило стимулирующую часть оплаты их труда, которая при недостаточной обоснованности гипотезы о связи научной ценности публикаций с их цитированием, породила нарастающий поток некачественных работ, обусловив «ущерб реальной содержательной деятельности» (Мастепанов, 2020: 5).
Не повторяя критику инструментария, основанного на цитировании, с его непрозрачностью измерений и субъективностью ранжирования, как и не анализируя обоснованность мнения
ряда ученых в отношении полезности наукометрии, хочу обратить внимание на сам факт его использования в качестве замещения научной экспертизы и механизмов академического самоуправления формальными процедурами определения продуктивности научной деятельности.
Желая изменить естественно сложившийся порядок вещей, исходя из ошибочного выбора цели реформирования науки — распространение «вертикали власти» на академическое самоуправление, государство породило ситуацию, которая оказалась хуже, чем была до его вмешательства. Такое положение дел стандартная теория называет «провалом государства» (Krueger, 1990) или в соответствии с современными разработками, представленными в «Экономической теории государства», — «управленческим провалом», а точнее «наукометрическим провалом» патерналистского государства (Рубинштейн, Городецкий, 2018: 44).
Как бы то ни было, но проблема остается и бал правит наукометрия, ставшая инструментом государственного вмешательства, постулирующего связь между цитируемостью и содержательными результатами научных публикаций. В связи с этим сохраняет свою актуальность, а теперь и практическую значимость, мониторинг общественного мнения, направленный на выяснение отношения научного сообщества к реформированию науки и попытки понять, как меняются взгляды ученых на использование наукометрических показателей для оценки результатов их деятельности.
Информационной базой мониторинга, как и прежде, послужил социологический опрос Журнала НЭА, проведенный в 2020 г. на основе единой анкеты, содержащей около 30 вопросов. Опрос проводился с использованием Интернет технологий в течение всего 2020 г. — периода подготовки и проведения Четвертого российского экономического конгресса «РЭК—2020», что обусловило его значительно большую представительность. Всего на вопросы анкеты ответили 1 193 респондента из 80 регионов России, 90 российских и 22 зарубежных городов, в том числе 16 городов бывших союзных республик1. Как и в прежних опросах большую часть респондентов в мониторинге 2020 г. составляют университетские преподаватели — 63,2%.
Почти не изменился и удельный вес респондентов, основным местом работы которых являются академические институты — 22,9%. При этом наибольший вес в деятельности преподавателей и сотрудников институтов РАН приходится на академические исследования: 41,1%, что, по-видимому, указывает на некоторое увеличение исследований в университетах.
Отмечу, что, социологический опрос 2020 г. содержал довольно большой раздел анкеты, вопросы которого направлены на выяснение отношения экономического сообщества к наукометрическому инструментарию. Выполненные расчеты позволили, в том числе, оценить распределение оценок респондентов о наличии связи между качеством статей и их цитируемостью (табл. 1).
Таблица 1
Наличие связи между качеством публикации и ее цитируемостью (% к числу ответивших на данный вопрос анкеты)2
Ответы на вопрос анкеты %
Нет, цитирование чаще всего связано с иными причинами 25,8
Скорее нет, чем да 44,1
Да, цитируемость и есть критерий качества публикаций 30,1
Всего 100,0
И хотя социологический опрос вполне ожидаемо продемонстрировал отсутствие единства взглядов на наличие содержательной связи между публикацией и ее цитируемостью,
1 Отмечу довольно высокий процент (от общего числа респондентов), ответивших на вопросы анкеты по каждому журналу: от 80% - по журналам лидерам, до 32% - по журналам аутсайдерам. При этом среднее количество ответивших респондентов составило более 500 человек.
2 В таблицах 1 и 4-7 в вариантах ответов по техническим причинам оказалась пропущенной опция «Скорее да, чем нет», что не позволило определить точное распределение ответов на «да» и нет», обусловив неразделенную среднюю часть, тяготеющую к «нет».
следует обратить внимание на тот факт, что лишь около 30% респондентов, ответивших на соответствующий вопрос анкеты, выбрали опцию - «цитируемость и есть критерий качества публикаций». При этом 26% респондентов эту связь полностью отрицают, а еще 44% - в большей своей части высказали сомнение в наличии такой связи.
Замечу также, что более четверти респондентов считают, что цитирование чаще всего мотивировано иными причинами (табл. 1). Анализ ответов респондентов на прямой вопрос о целях цитирования показал, что 60% делают это, чтобы указать тех, кто занимался аналогичными проблемами; 44% — ссылаются для обоснования своей точки зрения; 33% — желая подчеркнуть важность своей работы, ссылаются на статьи известных специалистов (табл. 2).
Таблица 2
Основные мотивы цитирования (% к числу ответивших на данный вопрос анкеты)
Ответы на вопросы анкеты %
Чтобы указать тех, кто занимался аналогичными проблемами 59,9
Чтобы обосновать свою точку зрения ссылкой на тех, кто с ней согласен 43,8
Чтобы опереться на собственные результаты или полученные другими авторами 37,0
Чтобы подчеркнуть важность своей работы ссылкой на известных специалистов 32,8
Чтобы сделать достаточно объемный список источников 21,7
Чтобы указать тех, кто не согласен с точкой зрения автора 13,2
Исходя из полученных ответов можно сделать общий вывод — «феномен цитирования» указывает скорее на желание автора обратить внимание на собственную работу и повысить ее значимость в глазах своих коллег. К этому добавлю, что мотивация цитирования, судя по всему, лежит вне области научной значимости цитируемой публикации. Иначе говоря, связь между научной ценностью работы и ее цитируемостью не обнаруживается.
В связи с этим возникает естественный вопрос, несколько обоснованным является оценивание результатов научной деятельности на основе публикационной активности экономистов — количества опубликованных статей в журналах, индексированных в различных базах данных, в том числе в РИНЦ. В следующей таблице представлены распределение ответов на этот вопрос в рамках социологического исследования 2020 г. (табл. 3).
Таблица 3
Обоснованы ли оценки научной деятельности с помощью показателя число опубликованных
статей в журналах, индексированных в РИНЦ? (% к числу ответивших на вопрос анкеты)
Ответы на вопрос анкеты %
Нет 35,5
Скорее нет, чем да 23,3
В какой-то мере да 36,6
Да 4,5
Всего 100,0
Выполненные расчеты свидетельствуют, что меньше 5% респондентов выбрали ответ «да». При этом 36% считают такой способ определения результатов научной деятельности необоснованным. Еще 23% экономистов, в большей своей части, явно сомневаются в возможности использования для этого индикатора число публикаций и еще 37% респондентов лишь «в какой-то мере» готовы признать обоснованность этой наукометрической оценки научной деятельности.
Близкая ситуация наблюдается и в ответах на вопрос анкеты о влиянии наукометрии на качество научных исследований: лишь четверть респондентов выбрали уверенный позитивный ответ, 28% — дали строго отрицательный ответ и 47% — в большей своей части также придерживаются отрицательной оценки введения наукометрии (табл. 4).
Таблица 4
Повысилось ли качество научных исследований в результате создания базы данных РИНЦ (% к числу ответивших на данный вопрос анкеты)
Ответы на вопрос анкеты %
Нет 27,9
Скорее нет, чем да 47,2
Да 24,9
Всего 100,0
Следует обратить внимание и на раздел анкеты, позволяющий судить о мнении экономического сообщества в отношении эффективности реформы науки, сопровождавшейся усилением давления «вертикали власти» на деятельность академических институтов и университетов, транслируемого на научных работников и преподавателей в форме требования количественного роста публикаций, причем индексируемых преимущественно в первых квартилях наукометрических баз WoS и Scopus. Речь идет об установленной зависимости оплаты труда в научных организациях и ВУЗах от публикационной активности.
В анкету «Мониторинга-2020» был включен следующий вопрос: «Способствует ли повышению качества научной деятельности установленная зависимость оплаты труда от публикационной активности»? И в данном случае проведенный социологический опрос продемонстрировал наличие разных мнений при доминировании негативной оценки. Так, 30% опрошенных респондентов дали позитивный ответ «Да, способствует», 24% — выбрали «Нет, оказывает отрицательное влияние», и 47% - в большей своей части продемонстрировали склонность к неприятию установленной системы оплаты труда (табл. 5).
Таблица 5
Влияет ли на повышение качества исследований зависимость оплаты труда от публикационной активности (% к числу ответивших на вопрос анкеты)
Ответы на вопрос анкеты %
Нет, оказывает отрицательное влияние 23,7
Скорее нет, чем да 46,5
Да, способствует 29,8
Всего 100,0
Особый интерес вызывают ответы респондентов на вопрос анкеты, который в той или иной форме уже давно стал предметом дискурса в научном сообществе. Речь идет об известном тезисе в отношении необходимости количественных критериев определения эффективности научной деятельности, без которых, согласно данному положению, управление теряет осмысленность. При этом не надо думать, что это относится только к науке или образованию. Вообще говоря, использование количественных показателей в управлении наукой мало чем отличается от таких же «разумных» методов управления во всей гуманитарной сфере, и даже в театральном искусстве3.
3 Приведу недавний пример из театральной жизни, когда желание «разумно управлять» побудило Минкультуры РФ (с подачи Министерства финансов) установить приказом (№ 602 от 27 апреля 2018) различные нормативы трудозатрат (чел. часов) для изготовления, к примеру, 1 м2 ясного неба и 1 м2 грозового неба при создании декораций к спектаклям. По настоянию Союза театральных деятелей РФ этот приказ был отменен в июне 2018 г.
Не повторяя возражений против данного тезиса, высказанных в разные годы многими авторами, остановлюсь лишь на результатах социологического опроса 2020 г., в рамках которого сделана попытка выяснить коллективное мнение экономистов. С этой целью в анкете был предложен вопрос о «необходимости для руководителей разного уровня количественных критериев определения эффективности научной деятельности».
В ответах на данный вопрос разброс мнений проявился в особой степени. Наибольший вес получил положительный ответ: почти 38% всех ответивших респондентов выбрали опцию «Да, без этого невозможно управлять», 28% — дали отрицательный ответ, полагая, что целесообразной является альтернатива с использованием научной экспертизы, 34% респондентов в большей своей части продемонстрировали свои сомнения в необходимости использования количественных оценок в управлении научной деятельностью (табл. 6).
Таблица 6
Необходимость для управления наукой количественных критериев эффективности научной деятельности (% к числу ответивших)
Ответы на вопрос анкеты %
Нет, нужно опираться на экспертизу 28,2
Скорее нет, чем да 33,8
Да, без этого невозможно управлять 37,9
Всего 100,0
Суммируя ответы на анкетные вопросы данного раздела мониторинга, можно сделать общий вывод. Обработка результатов социологического опроса показала, что положительное отношение к использованию наукометрических показателей для оценки качества научных исследований, эффективности работы ученых и в целом научных институтов и ВУЗов продемонстрировала меньшая часть сообщества экономистов, представляющая мнение от 25% до 38% от общего числа ответивших респондентов. При этом большинство участников социологического опроса дали негативную оценку как самой реформе науки, так и тех последствий, с которыми столкнулся «ученый мир».
Опыт последних лет свидетельствует, что в неблагоприятных условиях «изъяна общественного выбора», когда потребность в фундаментальной науке необоснованно трактуется в терминах числа журнальных статей и их цитируемости, использование количественных измерителей результатов научной деятельности наносит ей очевидный вред. Все это укладывается в универсальные закономерности «управленческого провала» патерналистского государства, свидетельствующего и о «провале общества», низкий уровень гражданской культуры и деградирующая социальная структура нашего общества оказались не в состоянии обеспечивать демократические процедуры общественного выбора целей развития отечественной науки.
2. Ранжирование журналов
Продолжая анализ результатов мониторинга общественного мнения экономистов, отмечу, что, как и в предыдущие годы, социологический опрос содержал раздел анкеты, вопросы которого направлены на выяснение отношения респондентов к российским экономическим журналам. Одной из главных задач здесь было выяснение, в какой мере наукометрические показатели и ранжирование экономических журналов связаны между собой и насколько они позволяют определить реальное положение дел: научный авторитет журналов и качество публикуемых в них статей.
Эта задача стала особенно важной для текущей ситуации, потому как руководители разного уровня стали усиливать давление на ученых и университетских преподавателей, устанавливая специфические требования, в соответствии с неясно откуда возникшими предпочтениями. Так, статьи, опубликованные в журналах, индексированных в Web of Science или Scopus,
обуславливают ныне большие надбавки в структуре заработной платы научных работников и преподавателей ВУЗов, нежели, индексированные в РИНЦ или RePEc.
Думается, что такого рода предпочтения, особенно в гуманитарных науках, в том числе в экономике и экономических исследованиях, с их российским контентом и естественной привязанностью к русскому языку, выглядят в лучшем случае странными. Если же учесть абсолютную непрозрачность включения российских журналов в список изданий, индексированных в зарубежных базах данных цитирования, то обозначенная странность начинает играть и другими красками.
К этому добавлю появившиеся «разногласия» между РИНЦем и Высшей аттестационной комиссией, которая распределила экономические журналы по ВАКовским специальностям, породив тем самым серьезные проблемы для аспирантов и диссертационных советов. Кроме «административного восторга», такие решения не имеют содержательных оснований. Сомнительно, чтобы кто-то из научных руководителей аспирантов и членов диссертационных советов посчитал, что это сделано во благо науки.
Но вернусь к результатам социологического опроса. Полученные ответы на анкетные вопросы и выполненные расчеты позволили выяснить, в частности, отношение экономического сообщества к ранжированию экономических журналов, предложенному РИНЦ. В следующей таблице представлены результаты расчетов распределения ответов респондентов на вопрос о том, соответствует ли ранжирование экономических журналов по «ринцовским рейтингам» их научному авторитету (табл. 7).
Таблица 7
Соответствие ранга журналов в РИНЦ их научному авторитету (% к числу ответивших)
Ответы на вопрос анкеты %
Нет, не соответствует 13
Скорее нет, чем да 48
Да, соответствует 39
Всего 100
Отмечу, что структура распределения ответов респондентов на различные анкетные вопросы, касающиеся использования наукометрии, оказалась примерно одинаковой с небольшими вариациями позитивных ответов. И в данном случае доля респондентов, выбравших опцию «Да, соответствует», составила около 40%. При довольно низкой доле респондентов, выбравших отрицательный ответ — 13%, но при высокой доле респондентов — 48%, в большей своей части ответивших, что считают такое соответствие сомнительным.
Сложившаяся ситуация и необоснованная «ставка» руководителей разного уровня на зарубежные базы цитирования, а также распространение этой политики на гуманитарные и по природе своей русскоязычные разделы науки сформировали в экономическом сообществе относительно низкий авторитет наукометрической базы РИНЦ (табл. 8).
Таблица 8
Распределение оценок важности индексации журналов в четырех наукометрических базах (% к числу ответивших)
Варианты ответа РИНЦ RePEc WoS & Scopus
Очень важно 34,4% 15,7% 58,6%
Важно 44,1% 36,4% 29,2%
Не очень важно 14,8% 31,5% 7,7%
Совсем не важно 6,8% 16,4% 4,5%
Всего 100,0% 100,0% 100,0%
При этом, не забывая об установленной системе оплаты труда в научных организациях и ВУЗах, экономисты вынуждены считаться с реальным положением дел, что находит отражение в приведенном выше распределении ответов на вопросы анкеты о важности индексации журналов в наукометрических базах, где публикуются их статьи (табл. 8). Интересными в этой таблице выглядят оценки важности специализированной базы данных RePEc (Research Papers in Economics), ориентированной на экономические исследования и пользующейся популярностью ученых более чем из 100 стран.
В архивах этой базы содержится около 3 млн научных статей из 3 500 журналов. При этом результаты социологического опроса указывают на тот факт, что почти 48% респондентов считают данную базу не очень важной или совсем неважной. Причина простая: насколько мне известно, публикации в журналах, индексированных в RePEc, никак не влияют на оплату труда их авторов. Ситуация меняется, если статья опубликована в журнале, который индексирован в Web of Science или Scopus. Этим объясняется и полученная оценка важности этих баз — 87,8% респондентов считают их важными и очень важными (табл. 8).
Подчеркну, полученные оценки индексирования журналов в соответствующих базах данных цитирования характеризуют лишь установленную в нашей стране дифференциацию заработной платы научных сотрудников и университетских преподавателей. Для того, чтобы видеть в этой дифференциации различия в качестве журнальных статей, надо обладать очень большой фантазией или свято верить, что наукометрические показатели, используемые в Web of Science или Scopus, лучше, чем в РИНЦе, и они «умеют» измерять содержание, новизну и научную ценность публикаций. Думается, что реальных оснований для такой веры нет, да и вряд ли они могут быть.
В связи с этим, сравним наукометрические показатели в WoS, Scopus и РИНЦ, основу которых составляет один и тот же базовый индикатор — импакт-фактор журналов, рассчитываемый за весь период существования издания, или за один год, два, три года и пять лет (Garfield, 1955: 108—111). В следующей таблице приведены результаты ответов на соответствующие вопросы анкеты в части отношения экономистов к показателям РИНЦ (табл. 9).
Таблица 9
Распределение оценок важности различных индикаторов РИНЦ (% к числу ответивших)
Индикаторы РИНЦ Важен Не важен Всего
Рейтинг «Science Index» 25,9% 74,1% 100%
Двухлетний импакт-фактор 26,9% 73,1% 100%
Пятилетний импакт-фактор 33,7% 66,3% 100%
Десятилетний индекс Хирша 24,4% 75,6% 100%
Иной показатель 2,6% 97,4% 100%
Полученные ответы свидетельствуют, что все индикаторы РИНЦ особого доверия у экономического сообщества не вызывают. Это относится к десятилетнему индексу Хирша, двух и пятилетнему импакт-факторам, а также к композитному рейтингу «Science Index», который рассчитывается на основе нормированного пятилетнего импакт-фактора с учетом индекса Херфиндаля. При таком положении дел остается понять, какие же наукометрические показатели, используемые в Web of Science или Scopus, способны измерять содержание, новизну и научную ценность публикаций.
В настоящее время для ранжирования журналов в Scopus используются три основных индикатора: «CiteScore», который рассчитывается по 3-х летнему импакт-фактору и интерпретируется его разработчиками в качестве показателя, оценивающего влияние данного журнала на другие издания; «SNIP» (Source-Normalized Impact per Paper) использует нормализованные значения импакт-факторов журналов, характеризующий, в трактовке его создателей, степень воздействия цитирования с учетом особенностей публикации в различных научных дисциплинах; SCImago (SJR), который, кроме обычного импакт-фактора журналов, использует алгоритмическую «ГУГЛскую добавку» (PageRank).
Не останавливаясь подробно на первых двух индикаторах, для которых характерна довольно прозрачная метрика, не требующая никаких специальных алгоритмов, следует обратить внимание на более сложный и ныне весьма популярный индикатор SJR, который позволяет вычислить ранг журнала с учетом наделения каждой его статьи определенным весом. Журнал считается более весомым, если другие журналы, цитирующие его статьи, имеют высокий уровень SJR. Иначе говоря, цитируя опубликованные в другом журнале статьи, данный журнал фактически делегирует ему свой престиж.
В этом есть определенные достоинства и свои недостатки. Плюсы заключаются в том, что этот индикатор оперирует не просто импакт-фактором, а учитывает разный вес цитируемых работ, что само по себе кажется преимуществом по сравнению c другими наукометрическими показателями. К минусу же я готов отнести тот факт, что SJR позволяет ранжировать журналы в лучшем случае только по одному критерию — престижу (весу).
Так, собственно, и создавался используемый в индикаторе SJR поисковый алгоритм Google: чем больше ссылок на веб-страницу, тем она считается более весомой в паутине (Brin, Page, 1998). Не думаю, однако, что этот успешный алгоритм поиска информационно нагруженных вебстраниц претендует на определение их смысловой ценности.
Можно предположить поэтому, что применение указанной «алгоритмической добавки» для ранжирования научных журналов в гуманитарных науках, в том числе в экономике, чаще всего выводит в лидеры такие журналы, в которых присутствует информационно нагруженный публицистический контент4. Кажется очевидным, что в отношении научного уровня журналов показатель SJR не содержит никакой информации. И в этом своем качестве он мало чем отличается от других индикаторов, включая РИНЦ.
Имеет смысл рассмотреть еще одну таблицу, которая построена на основе выборки шести российских экономических журналов, индексированных в базе данных «Scopus» и ранжированных на основе разных индикаторов. Приведенные в этой таблице данные указывают на наличие того же недостатка, на который мы уже обращали внимание, при анализе индикаторов РИНЦ — на очевидную несогласованность показателей, по которым осуществляются различные варианты ранжирования журналов (табл. 10).
Таблица 10
Виды ранжирования ряда российских экономических журналов в Scopus (2019-2020 гг.)
Журналы CiteScore Scopus SNIP SJR
Рейтинг РАНГ Рейтинг РАНГ Рейтинг РАНГ
Вопросы экономики 1,300 2 0,922 3 0,466 1
Экономическая политика 0,700 5 0,569 7 0,361 2
Экономика региона 1,400 1 1,254 1 0,351 3
Мировая экономика и международные отношения 0,600 6 0,667 5 0,312 4
Журнал Новой экономической ассоциации 1,000 3 0,751 4 0,311 5
Экономический журнал ВШЭ 0,600 7 0,961 2 0,210 6
Надо сказать, что и другая приоритетная база Web of Science, в архиве которой содержатся данные о цитировании более 30 тысяч журналов, ранжирует их по стандартным индикаторам — числу цитирований, годовому (оперативному) и пятилетнему импакт-фактору. При этом ранги журналов в Web of Science, как правило, не совпадают с рангами в Scopus.
4 В качестве примера приведу результаты анализа цитируемости статей по отдельным разделам Журнала новой экономической ассоциации. Выполненные расчеты за последние пять лет показали, что первое место по данному критерию принадлежит статьям, опубликованным в разделе «Горячая тема».
Сформулирую общий вывод. Думается, что для научных дисциплин, объективно привязанных к русскому языку, и где содержание исследований опирается на российский контент, известный тезис о том, что язык науки — это английский язык, особого смысла не имеет. По тем же причинам не имеет смысла и ориентация на англоязычные базы данных цитирования. И уж совсем ошибочным представляется установление зависимости оплаты труда университетских преподавателей и научных работников от публикационной активности и уровня цитирования их работ в журналах, индексированных в зарубежных базах данных, даже если это Web of Science или Scopus.
Подчеркну, у меня нет намерения абсолютизировать свои выводы. Более того, и для гуманитарных научных дисциплин наукометрические показатели могут оказаться полезными для ученых, если они выполняют роль некоторых ориентиров, позволяющих оценить их собственное место в науке. В этом смысле важно ответить на поставленный ранее вопрос и понять, есть ли связь между отношением сообщества экономистов к наукометрическим показателям и ранжированием экономических журналов на основе их же экспертных оценок, полученных в результате социологического исследования 2020 г.
3. Общественное мнение и наукометрия
Как и в предыдущие годы, в анкету социологического опроса был включен специальный блок. Респондентам было предложено в ответах на эти вопросы количественно оценить три содержательные характеристики: научный уровень журнала — R^ общественный престиж журнала — R2; интерес к публикациям журнала — R3 При этом, отвечая на соответствующие вопросы, респонденты должны были выбрать для каждого журнала и каждого вопроса одну оценку в заданном порядковом формате (0 — без оценки, 1 — самая низкая оценка, 3 — высшая оценка).
Полученный в результате социологического опроса большой объем эмпирических данных представлен в виде матрицы R={Rijk}, образующей своего рода информационный параллелепипед, содержащий более 100 тыс. чисел, каждое из которых описывается координатными проекциями на три оси: журналов — I; характеристик журналов — J; респондентов — K, где i £ [1, 30], j £ [1, 3], k £ [1, 1193]. Сформированная таким образом матрица R позволяет содержательную задачу ранжирования экономических журналов свести к многомерному статистическому анализу, направленному на выявление скрытых взаимосвязей между указанными характеристиками, обуславливающих построение частных (по каждой из трех характеристик в отдельности) и совокупного рейтингов, на основе которых могут быть сопоставлены журналы и проведено их ранжирование.
С учетом этого в настоящей работе использована методология «Multiway data analysis». Появление MW анализа, как обобщения факторного анализа и метода главных компонент, можно назвать рубежным моментом для многих задач, где анализируются большие массивы чисел. Первые применения этого раздела многомерной статистики появились в психометрии, а затем в распознавании образов и интеллектуальном анализе данных (Kolda, Bader, 2009). Хотя ряд работ в данном направлении был опубликован еще в первой половине прошлого века, принято считать, что основоположником этого раздела многомерной статистики был Ледьярд Такер (Tucker, 1966).
Разработанный в соответствии с данной методологией алгоритм позволяет измерить частные рейтинги с учетом статистически выявляемых различий между оценками респондентов и весами журналов, отражающих латентные соотношения между ними, а также определить весовую функцию их агрегирования в совокупный рейтинг — MWR (Рубинштейн, Слуцкин, 2018).
Надо отметить, что применяемый рейтинг ранжирования журналов — MWR, на первый взгляд, не сильно отличается по своей направленности от поисковика в Google и индикатора SJR в Scopus. Во всех трех случаях основой алгоритмического поиска является построение весовой функции, позволяющей наделить определенным весом каждую веб-страницу в Интернет-сети и каждое издание в рассматриваемой выборке журналов с последующим их ранжированием и выделением наиболее значимых (имеющих больший вес) объектов анализа и упорядоченных по весу групп этих объектов5. Однако на этом сходство все же заканчивается.
5 Близкий подход представлен в работе (Алескеров и др., 2016; Алескеров и др., 2021), где для ранжирования журналов применяются индексы ближних и дальних взаимодействий в сетевых структурах, рассчитанные на основе кросс-цитирований.
Главное отличие, которое выделяет ранжирование журналов по MWR от всего семейства наукометрических индикаторов, использующих предельно простые и самые сложные алгоритмы с определением весовой функции, связано с исходной единицей наблюдения. Если в PageRank и SJR базовой единицей информации является формальная «ссылка» на веб-страницу в Google и совершенно такого же рода «ссылка» на цитирование статьи в SJR, то в MWR метрике в качестве информационной основы служат полученные в результате социологического опроса оценки значимости критериев, характеризующих содержательные особенности журналов.
Не менее важным является и второе отличие, связанное с использованием нескольких критериев и построением агрегированного совокупного рейтинга. Так, вместо определения в PageRank и SJR одной ранжирующей характеристики — их веса в сети, MWR измеряет три содержательных критерия и на их основе совокупный рейтинг журналов. Речь идет об оценках респондентов: трех частных рейтингов — Научный уровень журнала, Общественный престиж журнала и Интерес к публикациям журнала. При этом в совокупный рейтинг эти частные рейтинги входят с разным весом (табл. 11).
Таблица 11
Ранги журналов по частным и совокупному рейтингам
Выборка экономических журналов Ri R3 R3 R
Вопросы экономики 2 1 1 1
Журнал новой экономической ассоциации 1 3 2 2
Мировая экономика и международные отношения 3 2 4 3
Экономический журнал Высшей школы экономики 6 5 5 4
Journal of Institutional Studies 7 7 3 5
Экономика и математические методы 4 4 22 6
Вестник Института экономики РАН 10 8 6 7
Проблемы прогнозирования 11 6 8 8
Вестник Московского университета. Серия 6: Экономика 9 9 9 9
Прикладная эконометрика 5 11 20 10
Российский журнал менеджмента 8 15 7 11
Вестник Санкт-Петербургского университета. Экономика 20 10 10 12
Экономическая политика 12 14 13 13
Вестник Санкт-Петербургского университета. Менеджмент 13 12 19 14
Форсайт 15 13 16 15
Журнал экономической теории 16 18 12 16
ЭКО 24 20 11 17
Деньги и кредит 14 16 24 18
Экономика региона 23 17 17 19
Пространственная экономика 17 23 14 20
Регион: Экономика и Социология 21 22 18 21
Экономическая наука современной России 18 24 15 22
Проблемы управления 22 21 21 23
Финансы и бизнес 26 26 23 24
Корпоративные финансы 27 19 28 25
Вестник международных организаций: образование, наука, экономика 29 25 26 26
Прикладная информатика 19 27 30 27
Контуры глобальных трансформаций: политика, экономика, право 28 28 27 28
Бизнес-информатика 25 29 29 29
Университетское управление: практика и анализ 30 30 25 30
Не вдаваясь в подробности анализа ранжирования журналов, который представлен в недавней публикации (Рубинштейн, Бураков, 2021: 2008—2010), остановлюсь на решении сформулированного выше вопроса. Речь идет о проверке гипотезы о наличии связей между ранжированием журналов, полученным на основе социологического опроса экономистов, и оценками этих же респондентов соответствующих наукометрических показателей. Введем в связи с этим обозначения, отражающие ответы респондентов на наукометрические вопросы анкеты, представленные в таблицах (N1, N3^9) настоящей статьи (табл. 12).
Таблица 12
Список регрессоров и их соответствие таблицам в данной статье
Номер таблицы Номер регрессора Регрессоры
1 Xi Есть ли содержательная связь между качеством публикации и ее цитируемостью?
3 X2 Обоснованность оценки результатов научной деятельности с помощью числа опубликованных статей в журналах, индексированных в РИНЦ
4 X3 Повысилось ли качество научных исследований российских ученых в результате создания базы данных РИНЦ?
5 X4 Способствует ли повышению качества научной деятельности установленная зависимость оплаты труда от публикационной активности?
6 X5 Необходимость для руководителей разного уровня количественных критериев определения эффективности научной деятельности
7 X6 Соответствие место журнала в РИНЦ его реальному научному авторитету
8 X7 Важность показателя РИНЦ «SCIENCE INDEX»
8 X8 Важность индексации в базах RePEc
9 X9 Важность индексации в базах Web of Science, Scopus
Сформулированный выше вопрос может быть решен на основе построения простой эконометрической модели, позволяющей статистически проверить указанную гипотезу. Речь идет о регрессионных зависимостях критериев (R ) от указанных регрессоров (X ): Rm = bm + bmn Xn, где: m 6 [1, 3] n 6 [1, 9].
Предварительный корреляционный анализ указывает на отсутствие статистически значимых связей между регрессорами. Исключение составляют лишь три пары показателей: r x2x4 = 0, 462**; r x3x4 = 0, 433**; r x7x9= 0, 443**. Учитывая же, что все коэффициенты парной корреляции меньше 0,5, можно зафиксировать отсутствие мультиколлинеарности анализируемых регрессоров. В следующей таблице приведены три модели регрессии для частных критериев «Научный уровень журнала (R^, «Общественный престиж журнала (R2) «Интерес к журналу» (R3), построенные с использованием метода Бутстреп (табл. 13).
Остановлюсь на интерпретации построенных моделей. Расчеты показывают, что оценки рейтинга Научного уровня журналов возрастают у тех респондентов, кто, отвечая на вопросы анкеты, отметил важность показателя РИНЦ «SCIENCE INDEX» и «индексации в базе RePEc» (b17= 0,329***; b18= 0,045**). Противоположное влияние на этот частный рейтинг оказывают позитивные ответы респондентов в отношении «Необходимости для руководителей разного уровня количественных критериев определения эффективности научной деятельности» и «Соответствия места журнала в РИНЦ его реальному научному авторитету» (b15= - 0,064**; b16 = - 0,100***), а также указавших на «Важность индексации в базах Web of Science, Scopus» (b19= - 0,086***).
Примечательно, что в третьей модели, объясняющий частный рейтинг Интерес к публикациям журнала, вклад каждого из анализируемого регрессора оказался такой же, как и в первой модели, но с добавлением еще одного регрессора, характеризующего положительное влияние показателя «Обоснованность оценки результатов научной деятельности с помощью числа опубликованных статей в журналах, индексированных в РИНЦ» (b= 0,089*).
Зависимость оценок ранжирования журналов (по трем критериям) от отношения респондентов к наукометрическим показателям
Таблица 13
Научный уровень журнала (R,) Престиж журнала (R2) Интерес к журналу (R3)
в 95 °о доверительный интервал В 95 °о доверительный интервал В 95 "о доверительный интервал
Нижняя Верхняя Нижняя Верхняя Нижняя Верхняя
Константа 0,309 -0,042 0,655 0,228 -0,109 0,604 0,309 -0,047 0,658
Необходимость для руководителей разного уровня количественных критериев определения эффективности научной деятельности (Х„) -0,064** -0,144 0,010 -0,047 -0,124 0,025 -0,065* -0,143 0,009
Соответствие место журнала в РИНЦ его реальному научному авторитету (Х6) -0,100*** -0,171 -0,033 -0,048 -0,120 0,026 -0,105* -0,172 -0,035
Важность индексации в базах RePEc (X ) 0,045** -0,001 0,091 0,041* 0,006 0,097 0,045** 0,002 0,087
Важность показателя РИНЦ «SCIENCE INDEX» (Х7) 0,329*** 0,136 0,529 0,332*** 0,127 0,546 0,327*** 0,137 0,534
Важность индексации в базах Web of Science, Scopus су -0,086*** -0,173 -0,051 -0,061** -0,125 -0,006 -0,110** -0,173 -0,047
Есть ли содержательная связь между качеством публикации и ее цитируемостью? (X,) -0,053 -0,141 0,042 0,011 -0,066 0,084 -0,053 -0,140 0,036
Обоснованность оценки результатов научной деятельности с помощью числа опубликованных статей в журналах, индексированных в РИНЦ (X,,) 0,086 -0,018 0,190 0,022 -0,068 0,117 0,089* -0,017 0,199
Повысилось ли качество научных исследований российских ученых в результате создания базы данных РИНЦ (X,) 0,005 -0,071 0,086 0,011 -0,088 0,102 0,005 -0,074 0,090
Способствует ли повышению качества научной деятельности установленная зависимость оплаты труда от публикационной активности (Xd) 0,066 -0,036 0,165 0,039 -0,069 0,148 0,066 -0,047 0,170
0,295 0,283 0,285
Стандартная ошибка оценки 1,003 1,019 0,975
-<
CD
3D с о; з'
сл
г-н
CD
CD
Я
£ г-н С
о'
со
CD
У
и-со
со
ю о с!о
О)
со со
Специального обсуждения заслуживает вторая модель, которая объясняет формирование Общественного престижа журналов. Статистически значимыми в ней оказались лишь три регрессора, характеризующих «важность индексации в иностранных базах RePEc, Web of Science и Scopus», а также индикатора российской базы цитирования РИНЦ — «SCIENCE INDEX».
Расчеты показали, что оценки этого рейтинга журналов снижаются при позитивном отношении респондентов к такому зарплатообразующему индикатору, как индексация статей в Web of Science и Scopus (b29= - 0,062**). При этом два регрессора, из объясняющих Общественный престиж журналов и оказывающих на него положительное влияние, связаны с указанием важности показателя РИНЦ «SCIENCE INDEX» и «индексации в базе RePEc» (b27= 0,332***; b2 = 0,041*). Как выяснилось, оценки этого частного рейтинга журналов оказались безразличны ко всем другим регрессорам.
Подобное соотношение ответов респондентов на вопросы анкеты, связанные с наукометрией и ранжированием журналов, станут более понятными, если сопоставить одновременно все модели, объясняющие частные рейтинги (Rm). Приведенная выше таблица (табл. 13) свидетельствует, что построенные модели имеют общую часть — ядро, включающее три регрессора. Речь идет о положительно влияющих регрессорах на критерии ранжирования журналов: «важность показателя РИНЦ «SCIENCE INDEX» (X7) и «индексации статей в базе RePEc» (X8), и об «индексации статей в базах Web of Science и Scopus», оказывающих отрицательно воздействие, также на все три рейтинга журналов.
Наличие таких связей позволяет предположить, что выделенное ядро наукометрических показателей соответствует, хотя и с некоторыми оговорками, основному тренду реформирования управления наукой, связанному с признанием важности наукометрического инструментария.
Указанные оговорки обусловлены особенностями первой и третьей модели, связанными с объяснением рейтингов Научный уровень журнала и Интерес к публикациям журнала. В отличие от второй модели здесь добавляется отрицательное влияние двух важных индикаторов, указывающих на негативное отношение экономического сообщества к «Необходимости для руководителей разного уровня количественных критериев определения эффективности научной деятельности (X5), и отмечающего также отсутствие «Соответствие место журнала в РИНЦ его реальному научному авторитету (X6).
При этом сопоставление вкладов регрессоров в указанные частные рейтинги позволяет сделать вывод, что Научный уровень журнала (первая модель) и Интерес к публикациям журнала (третья модель) имеют почти одинаковый набор регрессоров. Указанное «почти» относится к добавлению положительно влияющего на рейтинг Интерес к публикациям журнала в третьей модели регрессора Х2 (Обоснованность оценки результатов научной деятельности с помощью числа опубликованных статей в журналах, индексированных в РИНЦ).
Все это хорошо укладывается в смысловые отличия анализируемых частных рейтингов — содержательно разных характеристик журналов. Если выявленные во второй модели связи отношения респондентов к наукометрическим показателям с ранжированием журналов отражают основной тренд реформирования управления наукой, адаптируясь к которому экономическое сообщество приняло установленные «правила игры», то первая и третья модели демонстрируют наличие определенной части экономистов, выражающих свое несогласие с «необходимостью использования количественных критериев определения эффективности научной деятельности» (X5) и с «соответствием места журнала в РИНЦ его реальному научному авторитету» (X6).
Подводя итоги, можно констатировать, что выполненные расчёты подтвердили справедливость гипотезы о зависимости оценок этих рейтингов от отношения респондентов к наукометрическим показателям. Следует подчеркнуть, что выявленный в социологическом исследовании определенный разброс мнений экономистов по поводу «наукометрической реформы» в управлении наукой нашел соответствующее отражение и в неодинаковом ранжировании журналов по частным критериям.
При этом нельзя забывать, что все индикаторы наукометрии и построенные на их основе разного рода ранжирования используют один и тот же показатель цитируемости, который ни в
малейшей степени не характеризует новизну и научную ценность работы. Процитирую в связи с этим одного из создателей наукометрии Юджина Гарфилда: «Любой инструмент, от атомной энергии и до молотка, должен быть правильно использован. Ни в коем случае нельзя оценивать ученого только путем подсчета ссылок»6.
СПИСОК ЛИТЕРАТУРЫ/REFERENCES
Адлер Р., Эвинг Дж., Тейлор П. (2011). Статистики цитирования // Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). М.: МЦНМО. [Adler, R., Ewing, J., Taylor, P. (2011). Statistics of Citation. The Game of Figures, or How a Scholar's Work is Evaluated Now (Collection of Articles on Bibliometrics). MOSCOW: ICNMO. (in Russian).] Алескеров Ф.Т., Бадгаева Д.Н., Писляков В.В., Стерлигов И.А., Швыдун С.В. (2016). 3начимость основных российских и международных экономических журналов: сетевой анализ // Журнал Новой Экономической Ассоциации (2): 193-205. [Aleskerov, F.T., Badgaeva, D.N., Pislyakov, V.V., Sterligov, I.A., Shvydun, S.V. (2016). Nationality of major Russian and international economic journals: a network analysis. Journal of the New Economic Association (2): 193-205. (in Russian).] Алескеров Ф.Т., Казачинская А.И., Карабекян Д.С., Семина А.С., Якуба В.И. (2021). Экономические журналы России, их характеристики и сетевой анализ // Журнал Новой Экономической Ассоциации (2): 170-182. [Aleskerov, F.T., Kazachinskaya, A.I., Karabekyan, D.S., Semina, A.S., Yakuba, V.I. (2021). Economic journals of Russia, their characteristics and network analysis. Journal of the New Economic Association (2): 170-182. (in Russian).] Бураков Н.А. (2020). Композитные факторы деятельности российских театров (эмпирический анализ) / IV Российский экономический конгресс Том XV тематическая конференция «Экономика культуры» (сборник материалов). М., Новая экономическая ассоциация, 49-53. [Burakov, N.A. (2020). Composite factors in the activities of Russian theatres (empirical analysis) / IV Russian Economic Congress Volume XV Thematic Conference "Economics of Culture". (Collection of materials). M., New Economic Association, 49-53. (in Russian).] Бураков Н.А., Рубинштейн А.Я. (2020). Теоретические и прикладные аспекты измерения потенциалов экономического развития регионов России // Пространственная экономика 16(1): 24-50. [Burakov, N.A., Rubinstein, A.Y. (2020). Theoretical and applied aspects of measuring the potentials of economic development of Russian regions. Spatial'naya ekonomika 16(1): 24-50 (in Russian).] Идеи и числа. (2016). Основания и критерии оценки результативности философских и социогуманитарных исследований (под ред. А.В. Рубцова) - М.: Прогресс-Традиция. [Ideas and Numbers. (2016). Foundations and Criteria for Evaluating the Effectiveness of Philosophical and Socio-Humanitarian Research (ed. by A.V. Rubtsov) - M.: Pro-Gres-Tradition. (in Russian).] Мастепанов, А.М. (2020). Публикационная активность в научных изданиях: отражение научных достижений или способ выбивать деньги // Проблемы экономики и управления нефтегазовым комплексом (9): 5-8. [Mastepanov, A.M. (2020). Publishing activity in scientific publications: a reflection of scientific achievements or a way to beat out money. Problems of Economics and Management of Oil and Gas Complex (9): 5-8 (in Russian).] Молини А., Боденхаузен Д. (2017). Библиометрия как оружие массового цитирования // Вестник российской академии наук 87(1): 70-77. [Molini, A., Bodenhausen, D. (2017). Bibliometrics as a weapon of mass citation. Bulletin of the Russian Academy of Sciences 87(1): 70-77. (in Russian).] Рубинштейн А.Я., Слуцкин Л.Н. (2018). «Multiway data analysis» и ранжирование экономических журналов // Прикладная эконометрика (50): 90-113. [Rubinstein, A.Y., Slutskin, L.N. (2018). "Multiway data analysis" and ranking of economic journals. Applied Econometrics 50: 90-113. (in Russian).]
Рубинштейн А.Я. (2018). Российские экономические журналы: табель о рангах // Экономическая наука современной России (1): 108-130. [Rubinstein, A.Y. (2018). Russian economic journals: a table of ranks. Econonomicheskaya nauka sovremennoi Rossii (1): 108-130. (in Russian).]
6 Цитируется по Парамонову С.В. (http://wokinfo.com/media/pdf/inion.pdf).
Рубинштейн А.Я. (2019). Не РИНЦем единым! // Журнал НЭА (4): 245-259. [Rubinstein, A.Y.
(2019). Not RINTS alone! Journal of NEA (4): 245-259 (in Russian).] Рубинштейн А.Я. (2019). Театр, зритель и государство: 12 комментариев экономиста // Экономическая социология 20(5): 98-149. [Rubinstein, A.Y. (2019). Theater, spectator and state: 12 comments of an economist. Economic Sociology 20(5): 98-149 (in Russian).] Рубинштейн А.Я. (2020). Институт корпоративного управления и экономический рост: теория, методология и расчёты // Вопросы теоретической экономики (4): 151-160. [Rubinstein, A.Y. (2020). Institute of corporate governance and economic growth: theory, methodology and calculations. Problems of Theoretical Economics (4): 151-160. (in Russian).] Рубинштейн А.Я., Городецкий А.Е. (2018). Государственный патернализм и патерналистский провал в теории опекаемых благ // Journal of Institutional Studies (Журнал институциональных исследований) 10(4): 38-57. [Rubinstein, A.Y., Gorodetsky, A.E. (2018). State paternalism and paternalistic failure in the theory of trusted goods. Journal of Institutional Studies 10(4): 38-57. (in Russian).]
Рубинштейн А.Я., Бураков Н.А. (2021). Экономические журналы в оптике наукометрии // Журнал НЭА (2): 205-215. [Rubinstein, A.Y., Burakov, N.A. (2021). Economic journals in the optics of Scientometrics. Journal of NEA (2): 205-215. (in Russian).] Brin, S., Page, L. (1998). The Anatomy of a Large-Scale Hypertextual Web Search Engine. In: Seventh
International World-Wide Web. Gaming the Metrics: Misconduct and Manipulation in Academic Research (2020) / edited by Mario
Biagioli and Alexandra Lippman: Cambridge, MA: MIT Press, January 28, 2020. Garfield, Eu. (1955). Citation Indexes for Science: A New Dimension in Documentation through
Association of Ideas. Science, 15 Jul 1955: 122(3159): 108-111. Guerrero-Bote, V.P., Moya-Anegón, F. (2012). A further step forward in measuring journals' scientific
prestige: The SJR2 indicator. Journal of Informetrics 6: 674-688. Kiers, H.A.L. (2000). Towards a standardized notation and terminology in multiway analysis. Journal
of Chemometrics 14: 105-122. Kolda, T.G., Bader, B.W. (2009). Tensor decompositions and applications. SIAMReview 51(3): 455500.
Sunstein, C.R., Thaler, R.H. (2003). Libertarian Paternalism Is Not an Oxymoron. The University of
Chicago, Law Review 70(4): 1159-1202. Tucker, L. (1966). Some mathematical notes on three-mode factor analysis. Psychometrika 32(3): 279-311.
