Консенсусный рейтинг российскихэкономических журналов: идеология и опыт составления Текст научной статьи по специальности «Экономика и бизнес»

ИНСТИТУЦИОНАЛЬНЫЙ АНАЛИЗ НАУКИ

www.hjournal.ru DOI: 10.17835/2076-6297.2018.10.1.093-106

КОНСЕНСУСНЫЙ РЕЙТИНГ РОССИЙСКИХ ЭКОНОМИЧЕСКИХ ЖУРНАЛОВ: ИДЕОЛОГИЯ И ОПЫТ СОСТАВЛЕНИЯ1

БАЛАЦКИЙ ЕВГЕНИЙ ВСЕВОЛОДОВИЧ,

доктор экономических наук, профессор, директор Центра макроэкономических исследований Департамента экономической

теории, Финансовый университет при Правительстве РФ, главный научный сотрудник, Центральный экономико-математический институт РАН, e-mail: evbalatsky@inbox.ru;

ЕКИМОВА НАТАЛЬЯ АЛЕКСАНДРОВНА,

кандидат экономических наук, доцент, ведущий научный сотрудник Центра макроэкономических исследований Департамента экономической теории,

Финансовый университет при Правительстве РФ,

e-mail: n.ekimova@bk.ru

В статье раскрываются идеология и алгоритм построения консенсусного рейтинга российских экономических журналов, который базируется на агрегировании четырех наиболее популярных частных рейтингов: Муравьева, Стерлигова, Балацкого-Екимовой и Рубинштейна. Авторами показано, что существующие частные рейтинги используют как экспертные и библиометрические данные, так и гибридные процедуры ранжирования журналов. Объединение этих рейтинговых систем способно «включить» аналог закона больших чисел и за счет этого дать более взвешенную и объективную оценку отечественных экономических изданий. В статье дан обзор попыток западных специалистов построения аналогичных агрегированных рейтингов журналов, что доказывает правомерность авторской инициативы применительно к России. При построении нового рейтинга использовались последовательные процедуры перевода качественных градаций журналов в цифровой эквивалент и обратно - количества (численной оценки) в качество (статус). На основе построенного консенсусного рейтинга сформирован Алмазный список экономических периодических изданий, которые по праву могут считаться лучшими журналами России в соответствующей предметной области. Анализ Алмазного списка позволил выявить некоторые слабые элементы в его составе и установить важное явление, состоящее в том, что предрассудки и ошибки могут быть коллективными и принимать консенсусный характер. Кроме того, было установлено, что действительный консенсус наблюдается только для строго ограниченного числа журналов - 13-15; за пределами этого числа согласованность оценок резко падает. Рассмотрены проблемы дальнейшего продолжения работы по построению консенсусного рейтинга, намечены пути его практического использования для разных участников рынка экономических журналов.

Ключевые слова: рейтинг; консенсус; экономические журналы; агрегирование.

1 Статья подготовлена при финансовой поддержке Российского фонда фундаментальных исследований (проект №17-02-00524а).

© Балацкий Е. В., Екимова Н. А., 2018

оо ■н о см

o n

о ■н

£

ф ш

ш <

о

ш

о <

ее

3

о

RUSSIAN ECONOMIC JOURNAL CONSENSUS RANKING: IDEOLOGY AND EXPERIENCE OF MAKING UP

EVGENY V. BALATSKY,

Doctor of Economics (DSc), Professor, director of the Macroeconomic Research Center of the Department of Economic Theory, the Financial University under the Government of the Russian Federation, Leading Staff Scientist, the Central Economics and Mathematics Institute of the Russian Academy of Sciences (CEMI RAS),

e-mail: evbalatsky@inbox.ru;

NATALIA A. EKIMOVA,

Candidate of Economics (PhD), Associate Professor, Leading Staff Scientist of the Macroeconomic Research Center of the Department of Economic Theory,

00

vH the Financial University under the Government of the Russian Federation,

™ e-mail: n.ekimova@bk.ru

v-i -

Ol

The article reveals the ideology and algorithm of building a Russian economic journal

■h consensus ranking, which combines the Muraviev's, Sterligov's, Balatsky-Ekimova's and

0 Rubinstein's rankings of Russian economic journal. Currently they are the most popular ^ private rankings. They use both an expert and bibliometric data and the hybrid procedures ^ for ranking journals. The combination of these ranking products is analogous to the law of

1 large numbers and gives a more balanced and objective assessment of domestic economic

g journals. An overview of the attempts to construct a similar aggregate journal ranking by <

Western experts is given in this article. That proves the validity of such author's initiative in

<

o o

relation to Russia. Procedures for translating qualitative assessments of journals into digital equivalent and back were used in the construction of the consensual ranking. The ranking allowed to select the best Russian economic journals and to form the so-called Diamond List, which includes 13 of the best periodicals in the economy. Analysis of the consensus ranking revealed a number of features. So, it shown that consensus is observed only for a strictly limited number of journals - 13-15 and then the consistency of expert assessments starts ^ to diverge. Also weak elements were identified in the composition of the Diamond List. The | practical significance of the rating and the possibility of its further use were also discussed in < this article.

CD

X $

X .0 X

.0 <

tc

X

О s

J ^

Keywords: ranking; consensus; economic journals; aggregation.

w JEL: A14, Z13

ш '

о

ZD

& Введение

< Действия российских регуляторов в направлении оценки российских научных

о организаций на основе наукометрических данных породили тектонические сдвиги на

з рынке отечественных экономических журналов. Можно говорить по крайней мере о

F двух проявлениях действия новой регулятивной доктрины: с одной стороны, усилилась

^ конкуренция между самими журналами, с другой — начался учет качества журналов.

о Официальный учет привел к тому, что помимо включения издания в список ВАК стал приниматься во внимание его качественный статус путем вхождения в ядро

^ РИНЦ, а также в международные системы Web of Science и Scopus. Неофициальный

о учет проявился в стихийном составлении рейтингов журналов, которые также были

направлены на определение ведущих экономических изданий. В настоящее время уже насчитывается по крайней мере шесть независимых рейтингов журналов, которые вполне адекватно отделяют зерна от плевел.

Сложившееся положение дел нельзя охарактеризовать однозначно. С одной стороны, появилась информация о «хороших» и «плохих» журналах и началось мощное движение за повышения качества отечественной научной периодики, с другой — возник своеобразный плюрализм оценок, с которым неудобно работать и который иногда порождают заметные разночтения в отношении роли и значимости разных изданий. Между тем само наличие нескольких рейтинговых продуктов относительно журналов создает своеобразное «окно возможностей» для очередного аналитического шага, направленного на построение синтетического рейтинга, который бы учитывал все имеющиеся рейтинговые оценки. Такой рейтинг мы в дальнейшем будем называть консенсусным, подчеркивая тем самым его объединяющее начало и свойство к сглаживанию противоречий между частными рейтингами. В связи с этим целью статьи является построение указанного консенсусного рейтинга (КР) российских экономических журналов, направленного на окончательное определение ведущих периодических изданий страны.

История вопроса

В работе (Балацкий и Екимова, 2015) был дан обзор основных вех в рейтинговании экономических журналов России. В связи с этим ниже мы ограничимся только более поздним периодом — с 2012 г., когда рейтингование журналов приняло зрелые формы и пока не нашло отражения в научной литературе.

По всей видимости, первым шагом в построении рейтинга экономических журналов (РЭЖ) в России стали работы А. А. Муравьева, основанные на ранжировании журналов в системе РИНЦ на базе наукометрических показателей (Муравьев, 2012; 2013); создание соответствующего рейтингового продукта можно датировать 2012 годом. Следующим шагом стало практически одновременное создание двух рейтинговых продуктов—рейтинга И. А. Стерлигова (Стерлигов, 2014; ВШЭ, 2015), основанного на экспертном опросе, и гибридного рейтинга Е. В. Балацкого и Н. А Екимовой (Балацкий и Екимова, 2015), использующего наукометрические данные и экспертные оценки. И, пожалуй, завершающим шагом стал рейтинг А. Я. Рубинштейна (Рубинштейн, Бураков и Славинский, 2017), основанный на данных экспертного опроса. В соответствии с устоявшейся традицией перечисленные рейтинги стали именными — по фамилии разработчиков или руководителей творческих коллективов; кроме того, данные рейтинги несут в себе бренды организаций, под эгидой которых они разрабатывались. Так, рейтинги Муравьева и Стерлигова связывают с Высшей школой экономики (ВШЭ), рейтинг Балацкого—Екимовой — с Финансовым университетом при Правительстве Российской Федерации, а рейтинг Рубинштейна — с Новой экономической ассоциацией (НЭА) (см. табл. 1).

00 ■н о см

о с

о

■н

£

Таблица 1

Хронология основных рейтингов российских экономических журналов

Разработчики рейтинга Аффилиация Год создания Характеристика

Рейтинг Муравьева ВШЭ 2012 наукометрический

Рейтинг Стерлигова ВШЭ 2015 экспертные опросы

Рейтинг Балацкого—Екимовой Финуниверситет 2015 гибридный

Рейтинг Третьяковой ИСЭРТ 2015 наукометрический

Рейтинг Шумилова—Балацкого Финуниверситет 2016 наукометрический

Рейтинг Рубинштейна НЭА 2017 экспертные опросы

Ф ш

ш <

о

ш

о <

ее

3

о

Перечисленные рейтинги приобрели определенную популярность и признание в академической среде, в связи с чем в дальнейшем мы будем оперировать именно

ими. Однако создание альтернативных РЭЖ имело место все эти годы. Например, в работе (Третьякова, 2015) был построен рейтинг журналов экономических институтов РАН на основе библиометрических данных РИНЦ. Однако ограниченность рейтинга Третьяковой исключительно журналами РАН, а также недостаточная сила бренда патронировавшей его организации — Института социально-экономического развития территорий (ИСЭРТ) РАН (Вологда) — не позволило ему получить большой популярности; кроме того, его ядро частично дублировало ядро рассмотренных выше рейтингов, что снижало его информативную ценность (см. табл. 1).

Можно отметить попытку построения в Финуниверситете рейтинга лучших российских экономических журналов по версии базы RePEc на основе библиометрических данных указанной международной электронной библиотеки экономической литературы (Шумилов и Балацкий, 2016). Однако узость представленного рейтинга и низкая популярность системы RePEc среди российских экономистов не позволили данному рейтингу получить широкое распространение; кроме того, данный список также во многом дублировал предыдущие рейтинги (см. табл. 1).

Наличие нескольких альтернативных рейтингов экономических журналов не могло остаться незамеченным. В связи с этим одной из первых попыток совместного анализа 3 трех рейтинговых продуктов явилась работа А. Муравьева, в которой была предложена 8 простая эвристическая процедура сравнения рейтингов Муравьева, Стерлигова и ^ Балацкого—Екимовой (Муравьев, 2015). Анализ на качественном уровне показал, что

2 все три рейтинга существенно пересекаются и на их основе можно сформировать список

3 примерно из десяти хороших журналов по экономике и смежным дисциплинам и около ^ двух десятков приличных журналов в этих областях.

Ф Интересное направление исследований, связанное с агрегированием существующих

^ рейтингов, было развито А. Субочевым, который провел количественный анализ рейтингов Муравьева, Стерлигова и Балацкого—Екимовой с помощью коэффициента корреляции Кендалла для их сравнения друг с другом и с тремя системами ранжирования

х te со

< базы РИНЦ — двухгодовым и пятилетним импакт-фактором и параметром Science

а> <

о о х X -О х -О

Index (Субочев, 2016). Оказалось, что эти рейтинги коррелируют слабо, а степень их отличия от рейтингов РИНЦ сопоставима со степенью их отличия друг от друга. В связи с этим вместо дилеммы выбора одного из трех рейтингов автор осуществил построение

< агрегированного рейтинга, который лучше представляет совокупность трех исходных о рейтинговых систем, чем любая из них. В основе процедуры агрегирования лежит ^ специфическое правило ранжирования, которых в настоящее время накоплено большое ё множество. Можно сказать, что в указанной работе была сделана первая попытка х построения консенсусного РЭЖ, учитывающего результаты рейтингования нескольких

< участников рынка ранкеров (т.е. разработчиков рейтингов).

^ В рамках популярного в настоящее время сетевого подхода в статье (Алескеров и др.,

2016) был развит метод рейтингования, основанный на выявлении наиболее важных

со международных и российских экономических журналов в сетях, которые возникают

ш тт

о в результате анализа перекрестного цитирования. При этом список международных

¡2 экономических журналов и информация об их перекрестном цитировании брались

_i из базы данных Web of Science, в то время как информация о российских журналах

g и их цитировании — из базы РИНЦ. В результате были выявлены наиболее важные

F экономические журналы, которые сравнивались с рейтингами Стерлигова, Муравьева

tz и Балацкого—Екимовой.

w Параллельно развернулось исследование динамики РЭЖ. Так, в (Балацкий и Екимова, 2017) были рассмотрены сдвиги за три года в Алмазном списке,

^ представляющем собой ядро рейтинга Балацкого—Екимовой. Данный анализ позволил

2 выявить типичные ошибки в рыночной стратегии экономических журналов, в том числе

3 и среди лидеров рейтинга, а также сформулировать рекомендации по их устранению. о

Последний рейтинговый продукт — рейтинг Рубинштейна — также существенно пересекается с предыдущими тремя названными рейтингами, что подводит к идее его включения в состав обобщенного рейтинга.

Зарубежный опыт составления обобщенных рейтингов

Идея проведения сравнительного анализа и обобщения имеющихся рейтингов академических журналов не является новой: достаточно часто подобные примеры можно встретить и в зарубежной практике. Одной из первых попыток проведения аналитической работы по сравнению и агрегированию рейтингов является исследование К. Макдонах, проведенное в 1975 г. (McDonough, 1975). Профессор Университета Массачусетса Ловелл провела сравнительный анализ пяти рейтингов экономических журналов, рассчитав коэффициенты парной корреляции для пяти оцениваемых в рейтингах критериев: институциональная принадлежность авторов, экспертные оценки, оценки читателей, частота появления статей журнала в списках выпускных работ, цитирование. Обнаружив высокие положительные корреляции, К. Макдонах объединила рассматриваемые рейтинговые продукты и построила обобщенный рейтинг экономических журналов.

Несколько позже, в 1978 г., С. Каган и К. Лисон провели опрос среди членов Американской экономической ассоциации об их отношении к различным экономическим журналам (Kagann and Leeson, 1978). Полученные результаты были сопоставлены с имеющимися рейтингами, что позволило выявить и проанализировать некоторые расхождения количественных и качественных оценок. Например, журнал Bell Journal of Economics, занимавший второе место в рейтинге по количеству подписчиков, был не слишком высоко оценен экспертами. При более детальном изучении причины расхождения выяснилось, что высокие баллы количественного рейтинга были обеспечены наличием бесплатной подписки среди читателей, но никак не его высоким научным авторитетом.

В последующие годы продолжалась активная аналитическая работа по сопоставлению и обобщению рейтингов. Во многом она сводилась к агрегированию различных рейтинговых продуктов и построению метарейтингов, основанных на значительном количестве показателей.

В частности, достаточно серьезная работа была проделана Ч.-Л. Чангом, М. МакАлеером и Э. Маасуми, построившими агрегированный рейтинг 299 экономических т журналов, в котором издания анализировались по 15 количественным показателям, о представленным в Web of Science и учитываемым при построении менее агрегированных ^ рейтингов журналов (Chang, Maasoumi and McAleer, 2016).

Работа указанных выше исследователей была продолжена и расширена К. Вольрабе, экономистом Института экономических исследований при Мюнхенском университете, S который сконструировал метарейтинг экономических журналов, включающий в себя 315 изданий и учитывающий 38 показателей — как ранжируемых отдельно, так и входящих щ в состав менее агрегированных рейтингов академических журналов (Wohlrabe, 2016). w Необходимость проведения подобной работы, по словам автора, связана с тем, что отсутствие общепринятой методики ранжирования журналов в экономике приводит к существованию множества рейтингов, основанных на разных алгоритмах построения и базах данных и показывающих различные результаты. Объединение существующих рейтинговых продуктов по ранжированию экономических журналов позволило не только совместить в себе количественные и качественные оценки журналов, но и учесть ^ характеристики цитирования того или иного журнала в различных библиометрических w базах данных (Web of Knowledge, Google Scholar and RePEc). —

Еще одним примером аналитической работы с группой рейтингов можно считать о исследование В. Клаара, профессора экономики Университета им. Ч. Хендерсона, и < Р. Гонзалеса, программного аналитика Министерства внутренней безопасности США, в котором они провели сравнительный анализ имеющихся рейтингов журналов с целью 5

о с

получения агрегированной ранжированной базы данных 284 экономических журналов (Claar and Gonzalez, 2016). В качестве исходных рейтинговых продуктов были отобраны три журнальных рейтинга, основанных на количественных оценках (метод цитирования) (Laband and Piette, 1994; Kalaitzidakis, Mamuneas and Stengos, 2003; Kodrzycki and Yu, 2006), и два рейтинга, при построении которых используются экспертные опросы (Mason, Steagall and Fabritius, 1997; Axarloglou and Theoharakis, 2003).

Таким образом, к настоящему моменту времени и в России, и в странах Запада сформировался явный тренд на построение метарейтингов специализированных научных журналов. Тем самым накоплено достаточно информации и практического опыта для того, чтобы сконструировать в России КР, позволяющий выявить наиболее авторитетные отечественные экономические журналы. На этом моменте остановимся подробнее.

Консенсусный рейтинг экономических журналов: идеология построения

Как уже отмечалось, в настоящее время имеется четыре достаточно качественных и авторитетных рейтинга российских экономических журналов, которые по некоторым позициям совпадают, а по некоторым — сильно расходятся. При этом данные рейтинги

3 аккумулировали в себе все возможные варианты и способы составления турнирных

0

см списков: широкие и узкие экспертные опросы, умеренное и расширенное использование

^ библиометрических данных системы РИНЦ, а также гибридные (смешанные) подходы.

01

Такой методический плюрализм рейтингов продуцирует желание «слить» их все вместе и на этой основе получить некий обобщенный рейтинг журналов, который выступал бы в ^ качестве своеобразного консенсуса сообщества экономистов о том, какие академические Ф журналы считать по-настоящему качественными и авторитетными. Выше были указаны некоторые шаги, сделанные в этом направлении. Ниже будет предложена еще ^ одна альтернативная процедура агрегирования четырех рейтингов. При этом будем m отталкиваться от следующих положений.

< 1. Наличие множества рейтингов «включает» аналог закона больших чисел.

<

о о

о

■н

< te

X

ш <

О I— 3 h^ I—

ш

Разумеется, наличие четырех списков не может напрямую ассоциироваться с законом больших чисел, но некий подобный эффект возникает и в этом случае. Ранее подобный подход был использован при определении степени надежности глобальных рейтингов

X -Û х

< университетов (Балацкий и Екимова, 2011).

X

О

2. «Усреднение» множества рейтингов обеспечивает схождение к объективной оценке ^ анализируемых объектов. Как правило, завышенные оценки какого-либо журнала в £ одном рейтинге нивелируются его заниженными оценками в другом рейтинге. х 3. Основой объективности агрегированного рейтинга является консенсус частных

рейтингов в том смысле, что каждый рейтинговый продукт участвует в формировании окончательного результата, и его оценки не игнорируются, а наоборот — включаются в ^ итоговую оценку. Тем самым каждый частный рейтинг «говорит» свое слово относительно о всех рассматриваемых журналов.

о 4. Процедура агрегирования рейтингов должна быть предельно простой. В связи

с этим различные правила ранжирования исключаются в силу их сложности и непрозрачности. Нами предполагается, что процедура агрегирования должна быть видна и понятна потребителю КР.

На наш взгляд, придерживаясь перечисленных принципов, можно построить вполне корректный консенсусный рейтинг, который может претендовать на более объективную и взвешенную оценку отечественных журналов.

о Консенсусный рейтинг экономических журналов:

< алгоритм построения

В прикладных расчетах использовалась следующая расчетная процедура агрегирования частных рейтингов.

о

1. Перевод качества в количество. Так как большинство исходных рейтинговых продуктов используют не столько количественные, сколько качественные обозначения и градации журналов, то усреднить их напрямую невозможно. Более того, качественные градации разных рейтингов также не совпадают. В связи с этим использовалась процедура переведения качественных статусов журналов в цифровое выражение. Для этого использовалось простое и естественное правило, согласно которому самая высокая градация рейтинга дает оценку в 5 баллов с последующим понижением балла по мере снижения градации. Для удобства использовалась дискретная форма оцифровки качественных градаций журналов, а издания, не попавшие в основной эшелон градаций, считались с нулевым баллом.

2. Восполнение данных. Если журнал в каком-то рейтинговом продукте не фигурировал, будучи представленным в других частных рейтингах, то тем самым возникала статистическая лакуна, и для ее заполнения это издание автоматически получало 0 баллов в рассматриваемом рейтинге.

3. Усреднение данных. Осуществленная процедура оцифровки журналов позволила напрямую усреднить все рейтинговые баллы для каждого журнала. В данном случае используется принцип справедливости, когда все частные рейтинги учитываются с равным весом. Полученный средний по всем частным рейтингам балл журнала и представлял собой его итоговую консенсусную количественную оценку.

4. Перевод количества в качество. Полученные цифровые оценки носят вспомогательный характер, позволяя осуществить вычислительную процедуру. Для определения статуса журнала в исходных качественных категориях градации осуществлялась новая классификация по следующему правилу: если ранг (оценка) журнала находится в интервале [4, 5], то ему присваивается самая высшая градация А; если ранг заключен в интервале [3, 4], то градация В; если ранг в интервале [2, 3], то градация С; если ранг в интервале [1, 2], то градация D; если же ранг журнала меньше 1, то его градация Е. Таким образом, на данном этапе предложенный алгоритм осуществляет обратный переход от количественных рангов к качественным градациям.

В таблице 2 приведены соответствия количественных рангов и качественных градаций по четырем рейтинговым системам.

Таблица 2

Соответствие журнальных градаций и баллов

Категория журнала Частный рейтинговый продукт

Рейтинг Стерлигова Рейтинг Муравьева Рейтинг Балацкого-Екимовой Рейтинг Рубинштейна

1. Градация (балл) А1 (5) А (5) А (5) А1 (5)

2. Градация (балл) А2 (4) В (4) В (4) А2 (4)

3. Градация (балл) В (3) С (3) С (3) А1 (3)

4. Градация (балл) - (-) Б (2) Б (2) В1 (2)

5. Градация (балл) - (-) - (-) - (-) В2 (1)

00 ■н о см

о с

о

■н

£

ф ш

ш <

о

ш

о <

ее

3

о

Из таблицы 2 видно, что качественная шкала в рейтинге Стерлигова укорочена и нацелена на учет только самых лучших журналов, тогда как шкала рейтинга Рубинштейна, наоборот, является максимально расширенной и позволяет охватить большее число периодических изданий. Данные моменты учитывались при оцифровке результатов рейтингования и сказались на окончательных результатах. В данном случае мы хотим подчеркнуть, что рассматриваемые рейтинги даже качественно плохо сопоставимы, в связи с чем их усреднение совершенно оправданно требует специальной процедуры.

Результаты экспериментальных расчетов и их обсуждение

Итоговый консенсусный рейтинг российских экономических журналов приведен в таблице 3. Однако данный массив является урезанным и включает только 13 ведущих журналов, что соответствует так называемому Алмазному списку, включающему только самые лучшие издания страны. Полная версия консенсусного рейтинга журналов включает 84 периодических издания и размещена на сайте аналитического Интернет-журнала «Неэргодическая экономика»2.

В КР использовалась следующая качественная шкала журналов: А — высшее качество издания; В — высокое качество; С — средний уровень издания; D — приемлемый уровень; Е — предельно допустимый уровень. В Алмазный список вошли только журналы со статусом А, В и С; остальная часть консенсусного рейтинга состоит из изданий категорий D и Е. Таким образом, именно 13 журналов таблицы 3 могут быть рекомендованы исследователям в качестве наиболее передовых и престижных для размещения в них научных статей. При этом особо подчеркнем, что эти журналы прошли четырехуровневый тест на качество и в этом смысле вполне заслуженно претендуют на место в Алмазном списке.

оо ■н о см

о

■н

х го ш

о <

ф <

о

о ^

X X

л <

го

X

о

Таблица 3

Алмазный список консенсусного рейтинга российских экономических журналов, 2017 г.

№ (ранг) Журнал Статус

1 Экономический журнал Высшей школы экономики А

2 Вопросы экономики А

3 Журнал Новой экономической ассоциации А

4 Экономика и математические методы А

5 Прикладная эконометрика А

6 Форсайт В

7 Экономическая политика В

8 Российский журнал менеджмента В

9 Пространственная экономика В

10 Проблемы прогнозирования В

11 Экономическая наука современной России В

12 Российский экономический журнал С

13 Мировая экономика и международные отношения С

<

го

х £

со ш

со <

о

I— 3

I—

со

21 ц_

О <

СИ 3

о

Хотя в отношении приведенного Алмазного списка, как было сказано, действует определенный консенсус в экспертном сообществе и отрицать эти итоги трудно, тем не менее следует указать на некоторые обстоятельства.

Во-первых, в состав Алмазного списка вошли два журнала, относительно которых оценки экспертного сообщества существенно расходятся. Например, в отношении одного из самых авторитетных российских журналов «Мировая экономика и международные отношения» уже давно стоит вопрос о его принадлежности к экономическим журналам. Многие эксперты, несмотря на название, относят его к разряду политологических изданий (Муравьев, 2013; Балацкий и Екимова, 2017). Что касается «Российского экономического журнала», то по многим научным критериям он не проходит на роль лидирующего издания, однако его репутация в экспертной среде достаточно высока, что позволяет ему занимать высокие позиции в рейтингах экономических журналов. Тем самым можно наблюдать интересное явление: предрассудки и ошибки могут быть коллективными и принимать консенсусный характер. Оказывается, даже разные независимые оценки могут давать одинаковые погрешности.

2 См.: (http://nonerg-econ.ru/cat/18/281/).

Во-вторых, действительный консенсус наблюдается только для строго ограниченного числа журналов — 13—15. Иными словами, чем большее число журналов сравнивается по разным рейтинговым системам, тем меньше согласованность оценок. Аналогичный эффект был получен при рассмотрении глобальных рейтингов университетов (Балацкий и Екимова, 2011). В данном случае мы сталкиваемся с интересным свойством рейтингов: они являются серьезным фактором в конкурентной борьбе не для самых сильных, а для слабых участников рынка. Как правило, руководство старых вузов-лидеров, равно как и журналов-лидеров, остается менее чувствительным к рейтинговым войнам — они и без того во всех рейтингах первые. Тем самым рейтинги важны для участников рынка второго и третьего эшелона. Именно поэтому для группы безоговорочных лидеров наблюдается высокая степень согласованности рейтинговых оценок. Фактически Алмазный список определяет именно таких безоговорочных журналов-лидеров.

Иллюстрацией последнего тезиса служит система рецензирования в старых и авторитетных журналах по сравнению с молодыми изданиями. Так, если последние стараются максимально точно выполнять все требования международных научных баз, то гранды рынка журналов могут позволить себе некоторые послабления. Например, несмотря на достаточно серьезную процедуру рецензирования, проводимую журналом «Мировая экономика и международные отношения», входящим в системы индексирования Scopus и Web of Science, окончательное решение о публикации статьи возложено на определенных лиц из сотрудников редакции. Аналогичным образом принимаются решения в журнале «Проблемы прогнозирования», который также входит в Scopus и Web of Science и давно параллельно издается на английском языке: ответственные лица редакции принимают решения, советуясь при необходимости с членами редколлегии. Все это контрастирует с рецензированием в молодых и более слабых изданиях, в которых даже сама форма рецензии строго регламентирована — оценочные графы, баллы, комментарии и вердикт предусмотрены специальными типовыми формами.

Сказанное позволяет говорить о том, что сегодня можно выделить группу экономических журналов, которые существенно обогнали своих конкурентов в завоевании как российского, так и мирового рынка. Это дает им значительную фору и позволяет отойти от формализма в редакционной политике. В ряде случаев можно говорить даже о некотором «журнальном снобизме», проявляющемся в своего рода «безразличии» к некоторым новым требованиям и тенденциям. Например, журнал «Экономика и оо математические методы», будучи одним из старейших и авторитетнейших изданий о страны, до сих пор не входит ни в одну международную систему индексирования, хотя ^ для него это было бы сделать довольно просто. о

Отмеченные эффекты прошлых успехов периодических изданий пронизывают .

нынешний Алмазный список (см. табл. 3). Однако, как уже отмечалось в литературе ^ (Балацкий и Екимова, 2017), нынешний рынок экономических журналов является чрезвычайно конкурентным и динамичным. Например, такие журналы, как «Экономика ф региона»3 и «Terra Economicus» наращивают свои успехи и готовы заменить лидеров со Алмазного списка. В дальнейшем можно ожидать усиления давления и со стороны других более молодых изданий.

3 Следует отметить очевидные успехи данного издания по продвижению в международных наукометрических базах данных, который в 2016 г. был одним из немногих российских экономических журналов, вошедших в Q2 Scopus по направлению «Economics, Econometrics and Finance» и Q3 Scopus по направлению «Geography, Planning and Development».

ш

СП

Нынешние и грядущие проблемы ^

Предложенный консенсусный рейтинг экономических журналов сегодня вполне р адекватен и работоспособен с учетом тех замечаний, о которых упоминалось выше. Вместе ¡2 с тем нельзя не отметить и те недостатки, которые присущи всем частным рейтингам, из которых слагается консенсусная конструкция. Подробная и отчасти избыточная критика —

о <

ее

3

о

трех из них дана в работе (Рубинштейн, 2016). Однако здесь необходимо оговорить некоторые моменты, которые были упущены в предыдущих критических обзорах.

В отношении рейтинга Муравьева главная проблема заключается в том, что он стремительно устаревает. Будучи сформирован в 2012 г., он позже не обновлялся, тогда как изменения на рынке экономических журналов и в системе РИНЦ происходят стремительно, и картина за 3—4 года меняется радикально. Сегодня рейтингу Муравьева уже 6 лет и это критическая продолжительность жизни подобного продукта. Далее, в течение 2—3 лет, он будет очень быстро терять свою актуальность и без его обновления составление консенсусного рейтинга станет также проблематичным.

Примерно такая же ситуация характерна для рейтинга Стерлигова, возраст которого насчитывает 3 года, что также предполагает необходимость его срочного обновления. Кроме того, у данного рейтинга есть субъективная проблема, связанная с его априорной ангажированностью. Так, если рейтинг Муравьева представлял собой частный инициативный проект и не был напрямую связан с его материнской организацией — ВШЭ, то рейтинг Стерлигова был изначально корпоративной инициативой ВШЭ и несет в себе элементы предвзятости к «чужим» журналам на фоне явной переоценки «своих» периодических изданий. Этому способствовал алгоритм отбора экспертов и

3 обработки полученных результатов. Тем самым ВШЭ как держатель большого числа

° тэ

см экономических журналов не слишком хорошо смотрится в роли независимого ранкера. В

^ связи с этим рейтинг Стерлигова нуждается не просто в обновлении, но и в корректировке процедуры его составления.

Рейтинг Балацкого—Екимовой к настоящему моменту является единственным рейтингом, который систематически (ежегодно) обновляется, хотя его составление основано на полных данных журналов за соответствующий год с запаздыванием на 2 года по сравнению с текущим. Тем самым этот рейтинговый продукт также несет в себе потенциал отставания от нынешней ситуации. По критерию методической нейтральности этот рейтинг вполне удовлетворителен, т.к. он реализовывался в форме

о ■н

х го ш

< частной инициативы без идеологического патронажа Финуниверситета и в этом смысле о аналогичен рейтингу Муравьева.

Что касается рейтинга Рубинштейна, то следует особо заострить на нем внимание в силу его новизны.

X л х

< Во-первых, этот проект несомненно является самым масштабным — как по степени

охвата экспертной аудитории, так и по инструментальной обработке анкетных данных. ^ Однако эти преимущества сопровождаются рядом недостатков.

£ Например, изначальный список оцениваемых журналов формируется не в

х результате естественной процедуры просеивания всей ее массы, а на основе готового

< списка ядра РИНЦ — RSCI, который, в свою очередь, далее подвергается волюнтарной

^ корректировке. Таким образом, сама экспертная оценка была направлена не на отбор

^ лучших периодических изданий, а на их оценку из уже готового списка. При этом

ся используемые анкеты для опроса были слишком громоздкими, из-за чего эксперты

или просто отказывались их заполнять, или делали это не совсем качественно. Тем

самым часть квалифицированных экономистов просто оказалась исключенной из

проводимого экспертного опроса, а полученные ответы не всегда отражали истинное

положение дел. Помимо этого, в анкете использовались вопросы, которые автоматически

провоцировали субъективные и двусмысленные оценки. Например, для того, чтобы

Ь респондент входил в экспертную группу, считалось необходимым и достаточным, чтобы

^ он обладал соответствующей квалификацией (наличие ученой степени), пониманием

¡2 важности для российских экономистов знания экономико-математического аппарата

^ (моделей равновесия, теории игр, эконометрики), знанием иностранного языка, а также

^ чтобы он читал зарубежные журналы и публиковал статьи в авторитетных российских

з журналах (Рубинштейн, Бураков и Славинский, 2017, с. 9). Ответы на все указанные о

вопросы были получены на основе самооценки участников анкетирования. При этом в публичных дискуссиях уже отмечалось, что знание инструментальных основ экономики и иностранного языка являются довольно растяжимыми понятиями, а потому предполагают весьма разнообразные ответы для одной и той же группы экспертов.

Эмпирическая обработка экспертных данных в рейтинге Рубинштейна также грешит избыточностью. Например, используемые методы расчета весовых коэффициентов дали результат, практически не отличающийся от простого усреднения оценок (Рубинштейн, Бураков и Славинский, 2017, с. 22).

Во-вторых, рейтинг Рубинштейна не проходит тест на нейтральность, так как руководитель проекта является главным редактором «Журнала Новой экономической ассоциации». Кроме того, А. Я. Рубинштейн является сотрудником Института экономики РАН, что сказалось на появлении в числе журналов-лидеров рейтинга достаточно «локального» издания «Вестник Института экономики РАН» и журнала «Мир перемен», который, несмотря на его достоинства, относится скорее к политологическим изданиям, нежели к экономическим (Рубинштейн, Бураков и Славинский, 2017, с. 38).

В настоящее время рейтинг Рубинштейна является самым «молодым» аналитическим продуктом, обновление которого, по словам его руководителя, планируется ежегодно. Вместе с тем из сказанного выше вытекает, что данный рейтинг, впрочем, как и остальные рейтинговые продукты, нуждается в определенной корректировке с точки зрения используемых в нем методических процедур. Следует отметить, что развернувшийся процесс обсуждения и взаимодействия разработчиков рассматриваемых в статье рейтингов4, во-первых, позволяет вносить качественные методологические правки в алгоритмы их построения с учетом мнения авторитетного экспертного сообщества, а во-вторых, в дальнейшем сможет привести к выработке единого мнения относительно рынка экономических журналов в России, в том числе и посредством рассматриваемого в данной статье консенсусного рейтинга.

Однако на текущий момент можно определить две главные проблемы, которые необходимо преодолеть для того, чтобы в дальнейшем воспроизводить качественный КР журналов. Это, во-первых, переход частных ранкеров к перманентному (хотя бы раз в 2 года) обновлению своих продуктов и, во-вторых, формирование коллективов, которые не имели бы явных и очевидных интересов при подготовке рейтингов.

оэ

Заключение: перспективы метода о

Несмотря на имеющиеся недостатки, построение консенсусного рейтинга имеет ^ большое значение и вполне понятные перспективы для многих участников рынка экономических исследований. Во-первых, исследователи получают сигнал о том, где публиковаться стоит, а где — нет. Это позволит им экономить время и усилия, а также ^ повысить узнаваемость себя и своих наиболее удачных работ. Во-вторых, сами журналы также получают из рейтингов полезную информацию, которую могут использовать для ф корректировки своей стратегии и тактики работы на рынке. При правильном отношении со к рейтинговой информации журналы способны существенно улучшить свои позиции и, о разумеется, повысить свой научный уровень и престиж. В-третьих, регулятор получает ¡2 необходимую информацию о том, каким периодическим изданиям следует оказывать _| финансовую поддержку для выведения их на еще более высокий уровень, чтобы они 2 могли конкурировать на международном уровне. В частности, в 2017 г. под патронажем р: Минобрнауки России был проведен Конкурс по государственной поддержке программ ь развития и продвижению журналов при организационном участии Ассоциации научных редакторов и издателей (АНРИ). Победителями конкурса среди экономических журналов

о

- _|

<

ее

3

о

с

4 Например, данная тематика активно обсуждалась на ежегодной конференции НЭА «Политические системы и экономическое развитие: проблемы взаимосвязи» в декабре 2017 г. в МШЭ МГУ им М. В. Ломоносова.

о

■н

х £

со

стали «Форсайт» и «Экономика региона»5 (Конкурс по государственной поддержке..., 2018), первый из которых входит в Алмазный список (см. табл. 3), второй — претендует на вхождение в него. В-четвертых, явный интерес к рейтингам проявляют общественные объединения, — в частности, упоминаемая выше АНРИ, — которые находятся в поиске некоего редакционного стандарта, который может быть предложен журналам для их продвижения на рынке. Например, имеется острая потребность в унификации списка литературы, разночтения в котором не позволяет многим электронным научным базам правильно их обрабатывать и тем самым адекватно учитывать значение и роль соответствующих журналов.

В дальнейшем все существующие инициативы должны совершенствоваться на основе уже имеющихся достижений. Например, финансовая поддержка журналов может осуществляться, по крайней мере, с учетом их места в консенсусном рейтинге. Что касается разработки последнего, то здесь имеется потенциал сотрудничества между частными ранкерами. Повышение нейтральности ранкеров, отход от институциональной ангажированности и активное вовлечение частных ранкеров в обсуждение процедуры построения и информационного сопровождения КР может повысить его качество до уровня национального и общепризнанного рейтинга российских экономических

00

,н журналов.

о

см

СПИСОК ЛИТЕРАТУРЫ

Алескеров Ф. Т., Бадгаева Д. Н., Писляков В. В., Стерлигов И. А. и Швыдун С. В. (2016). Значимость основных российских и международных экономических журналов: сетевой анализ // Журнал Новой экономической ассоциации, № 2(30), с. 193—205.

Балацкий Е. В. и Екимова Н. А. (2017). Конкуренция экономических журналов России: итоги трех волн рейтингования // Экономическая политика, том 12, № 6,

£ с. 178-201.

сс ш о

^ экономических журналов // Вопросы экономики, № 8, с. 99-115. о о

Балацкий Е. В. и Екимова Н. А. (2015). Опыт составления рейтинга российских

Балацкий Е. В. и Екимова Н. А. (2011). Сравнительная надежность глобальных ^ рейтингов университетов // Журнал Новой экономической ассоциации, № 11, с. 127-140.

Муравьев А. А. (2012). К вопросу о классификации российских журналов по экономике и смежным дисциплинам. Научные доклады, № 14^)-2012. СПб.: ВШМ СПбГУ.

Муравьев А. А. (2013). О научной значимости российских журналов по экономике и смежным дисциплинам // Вопросы экономики, № 4, с. 130-151. ? Муравьев А. А. (2015). Рейтинги российских журналов по экономике: сравнительный

1 анализ. (http://studydoc.ru/download/4796527 - Дата обращения: 12.02.2018). го ВШЭ (2015). Проект НИУ ВШЭ по экспертному ранжированию российских научных

журналов. (http://grant.hse.ru/public/data/brochure.docx - Дата обращения: 12.02.2018). Рубинштейн А. Я. (2016). Ранжирование российских экономических журналов: ш научный метод или «игра в цыфирь»? // Журнал Новой экономической ассоциации, № § 2(30), с. 162-175.

со Рубинштейн А. Я., Бураков Н. А. и Славинская О. А. (2017). Сообщество экономистов

< и экономические журналы (социологические измерения VS библиометрии): Научный о доклад. М.: Институт экономики РАН.

з Стерлигов И. А. (2014). Пилотный проект по оценке российских научных журналов.

М.: НИУ ВШЭ. (http://slidegur.com/doc/225135/pilotnyj-proekt-vshe--po-e-kspertnoj-ocenke-rossijskih - Дата обращения: 12.02.2018).

Субочев А. Н. (2016). Насколько различны существующие рейтинги российских научных журналов по экономике и менеджменту и как их объединить // Журнал Новой экономической ассоциации, № 2(30), с. 181-192.

5 См.: (http://konkurs-jurnalov.neicon.ru/).

Третьякова О. В. (2015). Рейтинг научных журналов экономических институтов РАН // Экономические и социальные перемены: факты, тенденции, прогноз, № 5(41), с. 159-172.

Шумилов А. В. и Балацкий Е. В. (2016). Академические рейтинги RePEc: вопросы построения и роль российских участников // Журнал Новой экономической ассоциации, № 4(32), с. 111-138.

AxarloglouK. and Theoharakis V. (2003). Diversity in Economics: An Analysis of Journal Quality Perceptions // Journal of the European Economic Association, 1(6), pp. 1402-1423.

Chang C.-L., Maasoumi E. and McAleer M. (2016). Robust ranking of journal quality: An application to economics. Econometric Institute Report // Econometric Reviews, 35(1), pp. 50-97.

Claar V. and Gonzalez R. (2014). Ranking the Rankings of Journals in Economics by Quantifying Journal Demand // Southwestern Economic Review, 41(1), pp. 79-88. (https:// ssrn.com/abstract=2749331 - Дата обращения: 12.02.2018).

Kagann S. and Leeson K. (1978). Major journals in economics: a user study // Journal of Economic Literature, 16(3), pp. 979-1003.

Kalaitzidakis P., Mamuneas T. P., and Stengos T. (2003). Rankings of Academic Journals and Institutions in Economics // Journal of the European Economic Association, 1(6), pp. 1346-1366. (http://people.smu.edu/gec/files/Journal%20Rank%20JEEA.pdf - Дата обращения: 12.02.2018).

Kodrzycki Y. K., Yu P. (2006). New Approaches to Ranking Economics Journals // The B.E. Journal of Economic Analysis & Policy, 5(1), pp. 1-44. (https://www.hse.ru/ data/279/064/1237/wp0512.pdf - Дата обращения: 12.02.2018).

Laband D. N. and Piette, M. J. (1994). The Relative Impacts of Economics Journals: 1970-1990 // Journal of Economic Literature, 32(2), pp. 640-666.

Mason P. M., Steagall J. W. and Fabritius M. M. (1997). Economics Journal Rankings by Type of School: Perceptions versus Citations // Quarterly Journal of Business and Economics, 36(1), pp. 69-79.

McDonough C. (1975). The relative quality of economics journals revisited // Quarterly Review of Economics and Business, 15(1), pp. 92-97.

Wohlrabe K. (2016). Taking the Temperature: A Meta-Ranking of Economics Journals.

CESifo: Working Paper Series No. 5726. (http://www.cesifo-group.de/DocDL/cesifo1_wp5726.

pdf - Дата обращения: 12.02.2018). oo

о см

REFERENCES

Aleskerov, F. T, Badgaeva, D. N., Pislyakov, V. V., Sterligov, I. A. and Shvydun, S. V. (2016).

о с

An Importance of Russian and International Economic Journals: a Network Approach. o Journal of the New Economic Association, no. 2(30), pp. 193-205. (In Russian).

Axarloglou, K. and Theoharakis, V. (2003). Diversity in Economics: An Analysis of Journal > Quality Perceptions. Journal of the European Economic Association, 1(6), pp. 1402-1423. ®

Balatsky, E. and Ekimova, N. (2017). Competition of Economic Journals in Russia: uj Results of Three Waves of Ranking. Economic policy, 12(6), pp. 178-201. (In Russian). §

Balatsky, E. V. and Ekimova, N. A. (2015). The Experience of Ranking Russian Economic ü5 Journals. Voprosy ekonomiki, no. 8, pp. 99-115. (In Russian). <

Balatsky, E. V. and Ekimova, N. A. (2011). The Comparative Reliability of the Global o University Rankings. Journal of the New Economic Association, no. 11, pp. 127-140. (In =5 Russian).

Chang, C.-L., Maasoumi, E. and McAleer, M. (2016). Robust ranking of journal quality: An application to economics. Econometric Institute Report. Econometric Reviews, 35(1), pp. 50-97.

Claar, V. and Gonzalez, R. (2014). Ranking the Rankings of Journals in Economics by Quantifying Journal Demand. Southwestern Economic Review, vol. 41(1), pp. 79-88. (https:// ssrn.com/abstract=2749331 - Access Date: 12.02.2018).

CO

106

BаAацкмм E. B., EKUMOBa H. A.

HSE (2015). Project of HSE by the expert ranking Russian scientific journals. (http:// grant.hse.ru/public/data/brochure.docx — Access Date: 12.02.2018). (In Russian).

Kagann, S. and Leeson, K. (1978). Major journals in economics: a user study // Journal of Economic Literature, 16(3), pp. 979-1003.

Kalaitzidakis, P., Mamuneas, T.P. and Stengos, T. (2003). Rankings of Academic Journals and Institutions in Economics. Journal of the European Economic Association, 1(6), pp.1346-1366. (http://people.smu.edu/gec/files/Journal%20Rank%20JEEA.pdf - Access Date: 12.02.2018).

Kodrzycki, Y. K. and Yu, P. (2006). New Approaches to Ranking Economics Journals. The B.E. Journal of Economic Analysis & Policy, 5(1), pp. 1-44. (https://www.hse.ru/ data/279/064/1237/wp0512.pdf - Access Date: 12.02.2018).

Laband, D. N. and Piette, M. J. (1994). The Relative Impacts of Economics Journals: 1970-1990. Journal of Economic Literature, 32(2), pp. 640-666.

Mason, P. M., Steagall, J. W. and Fabritius, M. M. (1997). Economics Journal Rankings by Type of School: Perceptions versus Citations. Quarterly Journal of Business and Economics, 36(1), pp. 69-79.

McDonough, C. (1975). The relative quality of economics journals revisited. Quarterly 2 Review of Economics and Business, 15(1), pp. 92-97.

8 Muravyev, A. A. (2012). On Classification of Russian Journals in Economics and Related

"-Í Fields. Working Paper #14(R)-2012. SPb: Graduate School of Management, St. Petersburg

Ol

State University. (In Russian).

Muravyev, A. A. (2013). On Scientific Value of Russian Journals in Economics and Related Fields. Voprosy ekonomiki, no. 4, pp. 130-151. (In Russian).

Muravyev, A. A. (2015). Rankings of Russian Economic Journals: a Comparative Analysis. (http://studydoc.ru/download/4796527 - Access Date: 12.02.2018). (In Russian).

Rubinstein, A. Y. (2016). Ranking of Russian Economic Journals: The Scientific Method or "Numbers Game"? Journal of the New Economic Association, no. 2(30), pp. 162-175. (In Russian).

Rubinshtein, A. Y., Burakov, N. A., Slavinskaya, O. A. (2017). Community of economists and Russian economic journals (sociological measurements VS bibliometric) - M.: Institute of Economics of the Russian Academy of Sciences. (In Russian).

o

■H

X CÖ CO

O <

CD <

O O

X -O x

< Shumilov, A. V. and Balatsky, E. V. (2016). RePEc Academic Rankings: Construction

X

O

Issues and the Role of Russian Participants. Journal of the New Economic Association,

| no. 4(32), pp. 111-138. (In Russian).

Sterligov, I. A. (2014). The pilot project of HSE by the expert ranking Russian scientific

journals. (http://slidegur.com/doc/225135/pilotnyj-proekt-vshe--po-e-kspertnoj-ocenke-rossi-

jskih - Access Date: 12.02.2018). (In Russian).

Subochev, A. N. (2016). How Different Are the Existing Ratings of Russian Economic

Journals and How to Unify Them? Journal of the New Economic Association, no. 2(30),

co pp. 181-192. (In Russian).

Tret'yakova, O. V. (2015). Ranking of Scholarly Journals of Economic Institutes of the

Russian Academy of Sciences. Economic and Social Changes: Facts, Trends, Forecast,

no. 5(41), pp.159-172. (In Russian).

Wohlrabe, K. (2016). Taking the Temperature: A Meta-Ranking of Economics Journals.

CESifo: Working Paper Series No. 5726. (http://www.cesifo-group.de/DocDL/cesifo1_wp5726.

t pdf - Access Date: 12.02.2018).

i—

CO

z

Ll_

o

_J <

cc

3

o

<

CÖ x