CC BY
142
Аннотация. В настоящей работе представлены результаты сравнительной рейтинговой оценки журналов по экономике и смежным дисциплинам экономических институтов РАН, построенной на анализе библиометрических данных Российского индекса научного цитирования. Обоснован состав показателей, которые, по мнению автора, позволяют максимально объективно подойти к оценке значимости издания в научных кругах и являются максимально прозрачными и доступными для проверки полученных результатов. В основе ранжирования лежит интегральный показатель, выведенный методом многомерного сравнительного анализа. Для его расчёта использованы стандартизированные коэффициенты, выведенные путем нормирования библиометрических показателей относительно максимальных значений сравниваемых индикаторов. Полученные данные позволили выделить среди издаваемых экономическими институтами РАН ядро из десяти ведущих журналов по экономике и смежным дисциплинам. В их число вошли издания, имеющие значительные показатели цитирования, а также широкий круг авторов и читателей. Степень корреляции итогового списка с другими рейтингами экономических журналов подтверждает то, что предложенный нами состав критериев и способ их агрегирования позволяет получить достаточно объективные данные, пригодные для ранжирования научных журналов.
Ключевые слова: рейтинг научных журналов, экономический журнал, экономические институты РАН, библиометрический показатель, импакт-фактор журнала, Российский индекс научного цитирования (РИНЦ).
ДИСКУССИОННАЯ ПЛОЩАДКА
DOI: 10.15838^/2015.5.41.11 УДК 001.92, ББК 72
© Третьякова О.В.
Рейтинг научных журналов экономических институтов РАН
Ольга Валентиновна ТРЕТЬЯКОВА
кандидат филологических наук
Институт социально-экономического развития территорий РАН 160014, Россия, г. Вологда, ул. Горького, д. 56а, [email protected]
Сегодня в России издаётся несколько сотен экономических журналов. Более ста из них включены в Перечень рецензируемых научных изданий ВАК. Около 300 из-
даний индексируются в РИНЦ в категории «Экономика. Экономические науки», где их можно ранжировать по значению им-пакт-фактора и другим параметрам. Тем
не менее ученые считают, что ни список ВАК, ни импакт-фактор РИНЦ [2, 8] не могут являться мерилом качества научных журналов.
Вопрос о дифференциации журналов и выборе среди них ведущих эксперты пытаются решить путем их ранжирования по различным параметрам. Так, составлены несколько рейтингов российских журналов по экономике, из которых наибольшую известность получили рейтинг Муравьёва (2013) [7, 8], рейтинг Управления академической экспертизы НИУ ВШЭ (2015) [11] и рейтинг Балацкого—Екимовой (2015) [2]. В основе формирования перечисленных выше классификаций изданий лежат разные методологические подходы — использование библиометрических показателей, экспертных оценок или их комбинация. Тем не менее ни один из этих подходов не лишен недостатков.
Наиболее основательным, на наш взгляд, является рейтинг журналов по экономике и смежным дисциплинам, составленный А.А. Муравьевым [7, 8], основанный на анализе библиометрической информации. Особенностью данной классификации является то, что помимо стандартных критериев, в частности им-пакт-фактора, применены показатели, специально рассчитанные автором на базе списков литературы, опубликованных в журналах статей. Всего использовано 14 показателей, которые путем стандартизации и агрегирования были сведены в пять обобщенных рангов. Результатом работы стало выделение 24 ведущих журналов по экономике и смежным дисциплинам, из которых 10 были отнесены к условной категории «А» (наиболее значимые), а остальные — к категории «В» (журналы хорошего уровня). Слабые стороны предложенного метода, по мнению самого автора, проявляются в
несовершенстве использованных библио-метрических показателей для отражения научной значимости журналов, а также в том, что неотфильтрованными оказались мультидисциплинарные журналы. На наш взгляд, к недостаткам этого подхода относится и тот факт, что большая часть анализируемой статистической информации недоступна в РИНЦ, требуются значительные ресурсы по ее генерированию, что представляет сложность для постоянного обновления рейтинга и затрудняет возможность проверки результатов ранжирования широкой аудиторией.
К рейтингам, базирующимся на экспертных оценках, относится проект, реализованный Управлением академической экспертизы НИУ ВШЭ [11]. Путем заполнения анкет 630 экспертов оценили научный уровень журналов по 13 направлениям науки, включая экономику. По результатам анкетирования экспертов с помощью агрегирования индивидуальных оценок выделены три условные группы журналов: А1 — высокий уровень, «широкий профиль», А2 — высокий уровень, «узкий профиль», В — средний уровень. Всего было идентифицировано 2 журнала группы А2 по экономике и 17 журналов группы В. Интересно отметить, что журналами, вошедшими в категорию А2, стали «Форсайт» и «Экономический журнал Высшей школы экономики», т.е. лучшими по экономике стали издания, аффилированные с организацией, составляющей рейтинг. Примечательно, что в других списках журналов, а также в рейтинге РИНЦ данные издания не занимают первые позиции. Таким образом, в случае применения экспертного анализа к ранжированию журналов возникает прежде всего вопрос об исключении субъективных факторов оценки, селекции экспертов. Очевидно, что для объективности
конечных данных составлением таких рейтингов должны заниматься независимые организации, не аффилированные с оцениваемыми журналами.
Учитывая то, что методы, основанные исключительно на библиометрической информации либо на экспертных оценках, имеют определенные недостатки, эксперты предпринимают попытки совместить оба похода, чтобы исключить возможные выбросы в итоговых рейтингах. Примером сочетания моделей оценки, использованных в двух предыдущих рейтингах, является рейтинг Балацкого—Екимовой (2015) [2]. Сформированный по четырем параметрам РИНЦ список из 50 журналов подвергнут оценке по пяти качественным параметрам тремя экспертами. Результатом стал список журналов, упорядоченный по интегральному показателю. К недостаткам предложенной методики относится, по нашему мнению, выбор библиометрических показателей для отбора изданий. В итоге в списке оказались низкоцитируемые журналы. В частности, в рейтинг вошли несколько изданий, у которых 5-летний импакт-фактор без самоцитирований равен 0,1 и ниже.
Таким образом, сформировавшиеся к настоящему моменту рейтинги научных экономических журналов имеют определенные недостатки, преодолеть которые возможно путем дальнейшего изучения вопроса о выборе критериев для ранжирования изданий и совершенствования методики их анализа.
Цель представленного исследования состоит в попытке классифицировать журналы экономических институтов РАН на основе ранжирования интегрального показателя, полученного методом многомерного сравнительного анализа библио-метрических данных.
Принадлежность журнала к Российской академии наук является своеобразным показателем качества издания. Недаром эксперты считают, что сегодня успех научного журнала во многом зависит от его связей с РАН и от следования академическим традициям и стандартам, которые имеют важное значение в формировании ведущих научных изданий страны [2, с. 111112]. Ученые отмечают, что деятельность журналов Российской академии наук, на которую проецируется основная миссия РАН, заключающаяся в публикации фундаментальных научных результатов, играет возрастающую роль как в развитии Академии в целом, так и в выстраивании основных научных приоритетов на российском пространстве, подготовке кадров высшей квалификации, преемственности поколений РАН [13, с. 182; 6, с.172]. Как справедливо заметил член-корреспондент РАН Г.Б. Клейнер, на страницах этих изданий «должны найти место, прежде всего, фундаментальные знания — результат фундаментальных академических исследований, а сам факт публикации должен быть шагом на пути от информации как исходного сырья для науки до знаний как ее конечного общественно признанного результата» [6, с.172]. По мнению экспертов, академические журналы «выполняют некую эталонообразующую функцию», «научные публикации в таких журналах должны по структуре, ясности изложения и четкости мысли служить своеобразным образцом для авторов и издателей» [6, с.173].
Приведенные выше тезисы позволяют нам выделить журналы институтов РАН в отдельную группу периодических научных изданий.
Для исследования отобраны все журналы экономического профиля, которые издаются экономическими институтами
РАН, подведомственными ФАНО России. До реформы Российской академии наук эти институты входили в Секцию экономики ООН РАН, т.е. представляли единую референтную группу. Для анализа использованы только издания по экономическим и смежным наукам, исключены мультидисципли-нарные журналы и журналы, по которым отсутствуют необходимые показатели в РИНЦ. Таким образом, всего анализируется 18 изданий.
В основе ранжирования журналов лежит интегральный индикатор, полученный путем нормирования нескольких библио-метрических показателей журналов (данные Российского индекса научного цитирования). Поскольку в РИНЦ журналы характеризуются целым рядом различных показателей, в том числе и второстепенных, с методологической точки зрения важно выбрать такие индикаторы, которые, во-первых, позволят максимально объективно подойти к оценке значимости издания в научных кругах, а во-вторых, что немаловажно, будут максимально прозрачными и доступными для проверки полученных результатов. На данном этапе мы не используем экспертные оценки, поскольку, как это было указано выше, они вносят определенную долю субъективизма в итоговые результаты. Не отрицая значимости экспертного мнения, мы полагаем, что этот вопрос применительно к оценке российских научных журналов на современном этапе требует отдельного методического осмысления.
Главными библиометрическими показателями, характеризующими значимость научных журналов, являются, на наш взгляд, показатели цитирования. Здесь важно подчеркнуть, что количественные данные о цитировании публикаций отражают «воздействие научного издания на научное сообщество, его полезность
для других ученых» [5, с. 43]. Мы не ведем речь о том, что эти данные прямо измеряют качество публикаций журнала. Тем не менее, если говорить о библиометрических параметрах изданий, то именно показатели цитирования следует рассматривать как индикаторы, доказывающие, что данная работа с высокой степенью вероятности может оказаться весьма значимой.
В число базовых наукометрических показателей входит импакт-фактор научного журнала. Введенный Ю. Гарфилдом и впервые употребленный им в качестве термина в статье, которая была опубликована в журнале Science в 1955 году [18, 1955], импакт-фактор сегодня является наиболее распространенным среди показателей цитируемости. К. Хоффел, резюмируя множество мнений о целесообразности применения факторов влияния, отметил, что, хотя импакт-фактор и не стал идеальным индикатором для измерения качества статей, в настоящее время нет более объективного инструмента для научной оценки. Опыт показывает, что в каждой специальности лучшими считаются те журналы, в которых труднее всего опубликоваться, и эти издания, как правило, имеют более высокий импакт-фактор. Его широкое распространение как показателя качества и влиятельности обусловлено, по мнению Хоффела, тем, что он хорошо коррелирует с мнением, которое сложилось у ученых о лучших журналах в их дисциплинах [20, с. 1225].
Являясь по своей сути индикатором влиятельности статей, данный показатель оценивает число ссылок, полученных в среднем одной статьей, входящей в некоторое заданное множество публикаций за определенный фиксированный промежуток времени [17]. Интервал, в течение которого выходят оцениваемые статьи, называется «публикационным окном», а проме-
жуток времени, в течение которого выходят те статьи, ссылки из которых учитываются для определения импакт-индикатора, — «окном цитирования» [10, с. 82]. При подсчете импакт-фатора журнала традиционно используется двухлетнее публикационное окно и однолетнее окно цитирования, т.е. импакт-фактор характеризует среднее число ссылок, полученных в отчетном году статьями из журнала, опубликованными в течение двух предыдущих лет [10, с. 83]. Двухлетний период, используемый при определении импакт-фактора журнала, предназначается для того, чтобы сделать статистический показатель современным. Как отмечал Гарфилд, высокоцитируемые статьи, которые достигают наибольшего «влияния», как правило, цитируются в течение нескольких месяцев с момента публикации и, конечно, в течение года после выхода в свет. И двух лет достаточно, чтобы выявить так называемые «горячие публикации» (hot papers), оказавшие наибольшее влияние в той или иной сфере научного знания [16, 2005]. Соответственно, использование двухлетнего окна цитирования в подсчёте импакт-фактора обусловлено стремлением в процессе ранжирования научных журналов относительно друг друга выявить издания, публикующие высокоци-тируемые с момента выхода в свет статьи, которые оказывают наибольшее влияние в своей области.
Как отмечают эксперты, именно двухлетний импакт-фактор в наше время чаще всего фигурирует при сравнении уровня журналов [9, с. 131]. Тем не менее в ряде научных дисциплин, в частности в гуманитарных и социальных науках, профессиональное сообщество не успевает за короткий двухлетний промежуток времени воспринять новое знание. В этом случае для расчета импакт-фактора целесообразно использовать более широкое публика-
ционное окно. Поэтому в дополнение к двухлетнему рассчитывается пятилетний импакт-фактор, который характеризует среднее число ссылок, сделанных в отчетном году на статьи журнала, опубликованные в течение пяти последующих лет. Следовательно, в областях, где влияние опубликованных исследований необходимо учитывать на протяжении долгого периода времени, пятилетнее публикационное окно позволяет более качественно проводить измерение импакт-фактора журналов. Имея такое преимущество перед двухлетним импакт-фактором, как возможность сглаживать «выбросы» от отдельных статей с аномальной цитируемостью, по мнению экспертов, пятилетний импакт-фактор является недостаточно оперативным [19], поскольку существенно запаздывает при отражении в рейтинге новых журналов, какое бы признание за это время они ни завоевали [3, с.23]. Таким образом, на наш взгляд, при ранжировании журналов по импакт-фактору целесообразно учитывать значения как двухлетнего, так и пятилетнего показателей, чтобы нивелировать недостатки каждого из них и получить более объективный результат.
Значение импакт-фактора может быть достаточным для ранжирования журналов, входящих в авторитетные базы данных, наполнение которых осуществляется по жестким критериям, позволяющим отсеять низкокачественные издания. Так, авторитетными во всем мире признаны данные индекса научного цитирования Science Citation Index, использующегося в качестве инструмента для измерения уровня научной продуктивности, благодаря побочному продукту — базе данных Journal Citation Report (JCR) и ранжированию научных журналов по импакт-фактору [19, с. 63-64]. Использование данного инструмента применительно к российским научным журна-
лам, в частности изданиям по экономике, затруднительно по причине их слабой представленности в ведущей международной базе данных Web of Science. Поэтому ранжирование российских экономических журналов ограничено использованием данных Российского индекса научного цитирования. Поскольку в РИНЦ не существует отбора журналов, импакт-фактор журнала является в российских реалиях малопоказательным для построения рейтинга научных изданий. Эксперты отмечают, что данные РИНЦ уязвимы перед потенциальным манипулированием импакт-фактором со стороны редколлегий журнала. В результате его высокое значение еще не служит гарантией качества журнала, так как этот показатель может искусственно завышаться путем стимулирования самоцитирования или перекрестного цитирования группами журналов [8, с. 133]. Таким образом, при ранжировании российских журналов по импакт-фактору РИНЦ целесообразно применять дополнительные количественные характеристики журналов, в частности индикаторы, учитывающие самоцитирование, а также показатели индексов Херфиндаля, которые рассчитываются по цитирующим журналам и организациям авторов.
Как уже было отмечено выше, цитирования, полученные журналом из его же статей, оказывают определенное влияние на показатель импакт-фактора, потому что в своем стандартном определении он включает самоцитирование. По заключению экспертов, например Р. Руссо, высокий уровень самоцитирования свидетельствует о малой известности журнала [21, с. 425]. Чтобы нивелировать эффект от самоцитирования при ранжировании журналов, необходимо учитывать индикаторы, характеризующие самоцитирование, в частности коэффициент самоцитирования, который
показывает долю во всех цитированиях, сделанных журналом, ссылок, ведущих из него самого. В РИНЦ проблема отделения самоцитирований решается также за счет расчета показателей импакт-факторов, учитывающих только ссылки из других журналов.
Индекс Херфиндаля по цитирующим журналам определяется как сумма квадратов процентных долей журналов, цитирующих данный, по отношению к общему количеству цитирований. Чем больше количество цитирующих журналов и чем равномернее распределены по ним ссылки на данный журнал, тем меньше величина этого показателя. Индекс Херфиндаля по организациям авторов рассчитывается как сумма квадратов процентных долей количества статей, опубликованных различными организациями, по отношению к общему количеству статей в журнале в текущем году, в которых организация идентифицирована. Чем больше различных организаций, авторы из которых публикуются в журнале, и чем равномернее распределены между ними публикации, тем меньше величина этого показателя. Максимальные значения индексов равны 10000 и достигаются, когда все ссылки сделаны из одного журнала либо когда в журнале публикуются авторы только из одной организации. Нормировка с учетом индекса Херфиндаля увеличивает показатели журналов, широко известных в научном сообществе, и, наоборот, понижает рейтинг журналов с высоким уровнем самоцитирования или журналов, использующих взаимное цитирование для искусственного повышения своих показателей. Как отмечает А.А. Муравьев, индексы Херфиндаля «характеризуют узость круга авторов и круга читателей журнала, выступая своеобразной мерой его "местечковости". Высокие значения этих показателей указывают на то, что журнал
востребован и оценен только небольшим числом организаций и журналов, что вряд ли совместимо с общероссийским статусом издания» [8, с. 137-138].
Таким образом, чтобы преодолеть недостатки импакт- фактора как традиционного индикатора научной значимости журналов, для их ранжирования мы использовали четыре библиометрических показателя:
1. Двухлетний импакт-фактор РИНЦ без самоцитирования (IF2).
2. Пятилетний импакт-фактор РИНЦ без самоцитирования (IF5).
3. Индекс Херфиндаля по цитирующим журналам (HJ).
4. Индекс Херфиндаля по организациям авторов (И1о).
Коэффициент самоцитирования для нормирования не учитывался, так как мы использовали значения импакт-фактора без самоцитирования. Матрица исходных показателей представлена в таблице 1. Журналы в списке расположены в алфавитном порядке их названий. Для каждого издания указан институт РАН, с которым оно аффилировано.
Таблица 1. Матрица исходных данных: библиометрические показатели научных журналов экономических институтов РАН в РИНЦ (данные НЭБ на 01.09.2015)
№ п/п Журнал Институт РАН if2 if5 hij HI.
1. Вестник Института экономики РАН Институт экономики РАН 0,479 0,243 531 3390
2. Вопросы экономики Институт экономики РАН 1,957 1,508 125 1375
3. Журнал Новой экономической ассоциации Ряд институтов, в т.ч. Центральный экономико-математический институт РАН, Институт экономики РАН. 0,746 0,707 251 1198
4. Журнал экономической теории Институт экономики УрО РАН 0,574 0,440 703 414
5. Народонаселение Институт социально-экономических проблем народонаселения РАН 0,387 0,302 514 3309
6. Прикладная эконометрика Центральный экономико-математический институт РАН 0,429 0,625 810 3333
7. Проблемы прогнозирования Институт народнохозяйственного прогнозирования РАН 1,341 1,308 187 1700
8. Проблемы развития территории Институт социально-экономического развития территорий РАН 0,533 0,348 1099 5652
9. Пространственная экономика Институт экономических исследований ДВО РАН 0,886 0,688 490 3495
10. Региональные агросистемы: экономика и социология (сетевой журнал) Институт аграрных проблем РАН 0,067 0,064 1936 5838
11. Региональные проблемы преобразования экономики Институт социально-экономических исследований Дагестанского НЦ РАН 0,264 0,234 3048 1071
12. Регион: экономика и социология Институт экономики и организации промышленного производства СО РАН 0,432 0,385 276 2196
13. Север и рынок Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН 0,130 0,131 2402 3675
14. ЭКО Институт экономики и организации промышленного производства СО РАН 0,431 0,374 420 1318
15. Экономика и математические методы Центральный экономико-математический институт РАН 0,483 0,670 319 1598
16. Экономика региона Институт экономики УрО РАН 0,800 0,548 230 879
17. Экономическая наука современной России Центральный экономико-математический институт РАН 1,036* 0,707 208 1243
18. Экономические и социальные перемены: факты, тенденции, прогноз Институт социально-экономического развития территорий РАН 0,915 0,592 545 2165
* В связи с тем, что значение показателя за 2014 г. не рассчитано в РИНЦ, учитывается показатель за предыдущий год.
В основе классификации журналов лежит методика многомерного сравнительного анализа, который широко применяется в экономических исследованиях, в частности, для комплексной обобщающей сравнительной оценки результатов хозяйствования предприятий [12, с. 74-76]. Метод многомерного сравнительного анализа, построенный на методе евклидовых расстояний, позволяет учитывать не только абсолютные величины показателей каждого журнала, но и степень их близости к показателям эталона, для чего сравниваемые показатели журналов выражены в долях соответствующих показателей-эталонов, взятых за единицу.
Таким образом, в таблице исходных данных для каждого показателя определен максимальный, который принят за единицу. Коэффициенты остальных журналов рассчитаны путем деления их исходных показателей на максимальное значение
эталона. Полученные стандартизированные коэффициенты представлены в таблице 2.
Интегральный показатель по каждому журналу получен путем возведения стандартизированных коэффициентов в квадрат, последующего сложения полученных результатов и извлечения квадратного корня из этой суммы. Итоговый рейтинг журналов составлен на основе ранжирования интегральных показателей (табл. 3).
Полученные данные позволяют выделить ядро из десяти ведущих журналов по экономике и смежным дисциплинам экономических институтов РАН (выделены цветом в таблице 2). В число этих журналов вошли издания, имеющие значительные показатели цитирования (импакт-фактор), низкий уровень самоцитирования (учитывались значения импакт-фактора без самоцитирования). Кроме того, эти журналы могут претендовать на статус общероссий-
Таблица 2. Матрица стандартизированных коэффициентов научных журналов экономических институтов РАН
№ п/п Журнал Номер показателя
1 2 3 4
1. Вестник Института экономики РАН 0,245 0,161 0,235 0,122
2. Вопросы экономики 1,000 1,000 1,000 0,301
3. Журнал Новой экономической ассоциации 0,381 0,469 0,498 0,346
4. Журнал экономической теории 0,293 0,292 0,178 1,000
5. Народонаселение 0,198 0,200 0,243 0,125
6. Прикладная эконометрика 0,219 0,414 0,154 0,124
7. Проблемы прогнозирования 0,685 0,867 0,668 0,244
8. Проблемы развития территории 0,272 0,231 0,114 0,073
9. Пространственная экономика 0,453 0,456 0,255 0,118
10. Региональные агросистемы: экономика и социология (сетевой журнал) 0,034 0,042 0,065 0,071
11. Региональные проблемы преобразования экономики 0,135 0,155 0,041 0,387
12. Регион: экономика и социология 0,221 0,255 0,453 0,189
13. Север и рынок 0,066 0,087 0,052 0,113
14. ЭКО 0,220 0,248 0,298 0,314
15. Экономика и математические методы 0,247 0,444 0,392 0,259
16. Экономика региона 0,409 0,363 0,543 0,471
17. Экономическая наука современной России 0,529 0,469 0,601 0,333
18. Экономические и социальные перемены: факты, тенденции, прогноз 0,468 0,393 0,229 0,191
Таблица 3. Результаты сравнительной рейтинговой оценки научных журналов экономических институтов РАН
Журнал Номер показателя Суммарный коэффициент Интегральный показатель, Я Ранг
1 2 3 4
Вопросы экономики 1,000 1,000 1,000 0,091 3,091 1,758 1
Проблемы прогнозирования 0,470 0,752 0,447 0,059 1,728 1,315 2
Журнал экономической теории 0,086 0,085 0,032 1,000 1,203 1,097 3
Экономическая наука современной России 0,280 0,220 0,361 0,111 0,972 0,986 4
Экономика региона 0,167 0,132 0,295 0,222 0,816 0,904 5
Журнал Новой экономической ассоциации 0,145 0,220 0,248 0,119 0,733 0,856 6
Пространственная экономика 0,205 0,208 0,065 0,014 0,492 0,702 7
Экономика и математические методы 0,061 0,197 0,154 0,067 0,479 0,692 8
Экономические и социальные перемены: факты, тенденции, прогноз 0,219 0,154 0,053 0,037 0,462 0,680 9
Регион: экономика и социология 0,049 0,065 0,205 0,036 0,355 0,595 10
ЭКО 0,049 0,062 0,089 0,099 0,297 0,545 11
Прикладная эконометрика 0,048 0,172 0,024 0,015 0,259 0,509 12
Региональные проблемы преобразования экономики 0,018 0,024 0,002 0,149 0,193 0,440 13
Вестник Института экономики РАН 0,060 0,026 0,055 0,015 0,156 0,395 14
Народонаселение 0,039 0,040 0,059 0,016 0,154 0,392 15
Проблемы развития территории 0,074 0,053 0,013 0,005 0,146 0,382 16
Север и рынок 0,004 0,008 0,003 0,013 0,027 0,165 17
Региональные агросистемы: экономика и социология (сетевой журнал) 0,001 0,002 0,004 0,005 0,012 0,110 18
ских изданий, поскольку основное цитирование в них обеспечивается за счет ссылок в значительном количестве научных изданий и в них представлен достаточно широкий круг авторов, аффилированных с разными организациями.
Следует особо отметить, что итоговый рейтинг отражает принятую в данном исследовании систему параметров измерения, т.е. набор используемых показателей и метод их агрегирования, а также напрямую зависит от качества данных, полученных из РИНЦ.
Недостаток предложенного способа ранжирования журналов видится во влиянии на конечный результат высоких значений отдельных показателей. Так, «Журнал экономической теории» получает ранг 3 исключительно за счет самого высокого
в референтной группе коэффициента последнего показателя, т.е. лучшего значения индекса Херфиндаля по организациям авторов. При этом остальные значения, характеризующие цитирование, являются средними. Хотя данный выброс единичен, его наличие говорит о том, что предложенный способ ранжирования журналов в перспективе может быть усовершенствован.
Поскольку в международной практике отсутствуют признанные методы проверки рейтинговых данных, с целью верификации итоговых результатов сравним их со списками экономических журналов, для построения которых были использованы в том числе библиометричекие показатели РИНЦ (рейтинги Муравьева [7, 8] и Балац-кого—Екимовой [2]).
Из десяти первых журналов нашего списка четыре издания представлены в рейтинге Муравьева (2013) в категории А. Это «Вопросы экономики», «Журнал Новой экономической ассоциации», «Экономика и математические методы», «Экономическая наука современной России». К этой категории отнесен и журнал «Прикладная эконометрика» (в нашем списке — 12 позиция). Еще два журнала — «Пространственная экономика» и «Проблемы прогнозирования» — представлены в категории В, куда входят 14 изданий, также имеющие достаточно высокие частные ранги. Журналы «Экономические и социальные перемены: факты, тенденции, прогноз» и «Экономика региона» представлены в категории С (включает 24 издания). Всего в трех категориях — 55 журналов, которые автор характеризует как наиболее влиятельные российские издания по экономике и смежным дисциплинам. При этом журналы из категорий А и В определяются как наиболее значимые издания, а издания, отнесенные к категории А, — как ведущие национальные журналы по экономике.
В рейтинге Балацкого — Екимовой (2015) семь изданий из нашего списка входят в группу лучших национальных журналов по экономике, названную авторами рейтинга по аналогии с зарубежной традицией «Алмазным» списком журналов (АСЖ). Это журналы «Вопросы экономики», «Экономика и математические методы», «Прикладная эконометрика», «Журнал Новой экономической ассоциации», «Проблемы прогнозирования», «Пространственная экономика», «Экономическая наука современной России». Е.В. Балацкий отмечает, что из 13 изданий АСЖ половина так или иначе связаны с РАН, что, по его мнению, свидетельствует о важной роли академических стандартов и традиций в формировании ведущих научных изданий страны [2, с.112].
Учитывая существенное количество совпадений с другими списками, можно сделать вывод о том, что представленный нами рейтинг кардинально не противоречит предыдущим исследованиям. Следовательно, предложенный нами состав критериев и способ их агрегирования могут быть использованы для ранжирования научных журналов.
Следует отметить слабую корреляцию полученного нами интегрального рейтинга с ранжированием журналов по импакт-фактору РИНЦ и рейтингом Science Index, который рассчитывается в РИНЦ по специальной методике, учитывающей несколько критериев (табл. 4). Судя по итогам сопоставления рангов, совпадающие ранги во всех классификациях имеют только журналы с довольно высокими показателями. Таким образом, полученные нами результаты также свидетельствуют о том, что рейтинг РИНЦ не может быть использован в качестве однозначного мерила для ранжирования научных журналов.
Подводя итоги, следует отметить, что представленные в настоящей работе результаты позволили нам подойти к вопросу о выборе критериев, в частности библиометрических, для оценки научных журналов. Предложенный нами состав критериев и способ их агрегирования вполне пригодны для ранжирования научных журналов, что подтверждается достаточной корреляцией с другими рейтингами. Выявленные уже на данном этапе слабые стороны предложенной методики определяют перспективы исследования в плане уточнения числа таких критериев, а также способов их агрегирования.
В целом можно сказать, что интегральные значения, полученные методом многомерного сравнительного анализа нескольких значимых библиометрических показателей изданий в РИНЦ, позволили ранжировать научные журналы по эконо-
Таблица 4. Рейтинг научных экономических журналов, издаваемых институтами РАН
Журнал Р Ранг 1 ИФ2* Ранг 2 Ч Ранг 3
Вопросы экономики 1,758 1 2,068 1 5,261 1
Проблемы прогнозирования 1,315 2 1,450 2 3,211 2
Журнал экономической теории 1,097 3 0,830 7 0,342 10
Экономическая наука современной России 0,986 4 1,036** 4 1,522 3
Экономика региона 0,904 5 0,933 6 1,103 5
Журнал Новой экономической ассоциации 0,856 6 0,781 8 1,231 4
Пространственная экономика 0,702 7 0,986 5 0,651 7
Экономика и математические методы 0,692 8 0,540 13 0,896 6
Экономические и социальные перемены: факты, тенденции, прогноз 0,680 9 1,090 3 0,556 9
Регион: экономика и социология 0,595 10 0,446 15-16 0,594 8
ЭКО 0,545 11 0,560 12 0,294 13
Прикладная эконометрика 0,509 12 0,446 15-16 0,307 11
Региональные проблемы преобразования экономики 0,440 13 0,579 10 0,069 16
Вестник Института экономики РАН 0,395 14 0,577 11 0,219 14
Народонаселение 0,392 15 0,509 14 0,297 12
Проблемы развития территории 0,382 16 0,715 9 0,175 15
Север и рынок 0,165 17 0,320 17 0,044 17
Сетевой журнал «Региональные агросистемы: экономика и социология» 0,110 18 0,152 18 0,023 18
* Указаны значения двухлетнего импакт-фактора (включая самоцитирование).
** В связи с тем, что в РИНЦ не рассчитано значение показателя за 2014 г., учитывается показатель за предыдущий год.
мике и смежным дисциплинам экономических институтов РАН и выделить среди них ядро из десяти ведущих изданий. Результаты сравнительной рейтинговой оценки научных журналов могут учитываться этими учреждениями для разработки стратегий продвижения своих изданий. Улучшение
показателей по ряду позиций напрямую связано с деятельностью редколлегий, усилия которых могут быть направлены на повышение требований к уровню публикаций и качеству их рецензирования, контроль самоцитирования, расширение географии авторов.
Литература
1. Балацкий, Е.В. Роль академических журналов: период неопределенности / Е.В. Балацкий // Журнал новой экономической ассоциации. — 2011. — №12. — С. 164-166.
2. Балацкий, Е.В. Опыт составления рейтинга российских экономических журналов / Е.В. Балацкий, Н.А. Екимова // Вопросы экономики. — 2015. — №8. — С. 99-115.
3. Бедный, Б.И. О показателях научного цитирования и их применении / Б.И. Бедный, Ю.М. Сорокин // Высшее образование в России. — 2012. — №3. — С.23.
4. Гальперин, В.М. Микроэкономика: в 2-х т. / В.М. Гальперин, С.М. Игнатьев, В.И. Моргунов; общ. ред. В.М. Гальперина. — СПб.: Экономическая школа, 1999. — Т. 2. — С. 168-169, 171.
5. Гарфилд, Ю. Можно ли выявлять и оценивать научные достижения и научную продуктивность? / Ю. Гарфилд // Вестник АН СССР. - 1982. - №6. - С. 42-50.
6. Клейнер, Г.Б. Миссия академического журнала: между фундаментальностью и актуальностью / Г.Б. Клейнер // Журнал новой экономической ассоциации. — 2011. — №12. — С. 171-173.
7. Муравьев, А.А. К вопросу о классификации российских журналов по экономике и смежным дисциплинам / А. А. Муравьев // Научные доклады. -2012. - №14 (R). - СПб.: ВШМ СПбГУ, 2012. - 60 с.
8. Муравьев, А.А. О научной значимости российских журналов по экономике и смежным дисциплинам / А.А. Муравьев // Вопросы экономики. - 2013. - №4. - С. 130-151.
9. Писляков, В.В. Методы оценки научного знания по показателям цитирования / В.В. Писляков // Социологический журнал. - 2007. - №1. - С. 128-140.
10. Писляков, В.В. Библиометрические индикаторы в ресурсах Tomson Reuters / В.В. Писляков // Руководство по наукометрии: индикаторы развития науки и технологии: [монография] / М.А. Акоев, В.А. Макрусова, О.В. Москалева, В.В. Писляков. - Екатеринбург, 2014. - С. 75-163.
11. Проект НИУ ВШЭ по экспертному ранжированию российских научных журналов. - М.: Управление академической экспертизы НИУ ВШЭ [Электронный ресурс]. - Режим доступа: http://www.hse.ru/ academexpert/journals
12. Савицкая, Г.В. Теория анализа хозяйственной деятельности. - М., 2007. - 288 с.
13. Татаркин, А.И. Академический журнал: каким он видится из регионов / А.И. Татаркин // Журнал новой экономической ассоциации. - 2011. - №12. - С. 182-185.
14. Третьякова, О.В. К вопросу об импакт-факторе научного журнала и методиках его формирования [Электронный ресурс] / О.В. Третьякова // Вопросы территориального развития. - 2014. - №5 (15). -Режим доступа: http://vtr.isert-ran.ru/?module=Articles&action=view&aid=3817
15. Третьякова, О.В. Экономический журнал: проблемы и перспективы продвижения на национальном и международном уровне / О.В. Третьякова // Экономические и социальные перемены: факты, тенденции, прогноз. - 2014. - №3 (33). - С.209-222. DOI: 10.15838/esc/2014.3.33.16
16. Garfield, E. The Agony and the Ecstasy - the History and the Meaning of the Journal Impact Factor. Report at the Fifth International Congress on Peer Review in Biomedical Publication [Electronic resource] / E. Garfield. -Chicago, 2005. - Available at: http://garfield.library.upenn.edu/papers/jifchicago2005.pdf.
17. Garfield, E. New Factors in the Evaluation of Scientific Literature Through Citation Indexing / E. Garfield, I. H. Sher // American Documentation. - 1963. - Vol. 14. - No. 3. - P. 195-201.
18. Garfield, E. Citation Indexes to Science: a New Dimension in Documentation Through Association of Ideas / Е. Garfield // Science. - 1955. - Vol. 122. - No. 3159. - P. 108-111.
19. Garfield, E. The Evolution of the Science Citation Index/ Е. Garfield // Contribution to Science. - 2009. -№5(1). - Р. 63-70.
20. Hoeffel, C. Journal Impact Factors (letter) / C. Hoeffel // Allergy. - Vol. 53. - Iss. 12. - P. 1225.
21. Rousseau, R.L. Journal Evaluation: Technical and Practical Issues / R.L. Rousseau // Library Trends. -2002. - Vol. 50. - No. 3. - P. 418-439.
Сведения об авторе
Ольга Валентиновна Третьякова - кандидат филологических наук, заведующий отделом, Федеральное государственное бюджетное учреждение науки Институт социально-экономического развития территорий Российской академии наук (160014, Россия, г. Вологда, ул. Горького, д. 56а, olga.tretyackova@ yandex.ru)
Tret'yakova O.V.
Ranking of Scholarly Journals of Economic Institutes of the Russian Academy of Sciences
Ol'ga Valentinovna Tret'yakova - Ph.D. in Philology, Department Head, Federal State Budgetary Institution of Science Institute of Socio-Economic Development of Territories of Russian Academy of Science (56A, Gorky Street, Vologda, 160014, Russian Federation, [email protected])
Abstract. The paper presents the results of comparative ranking of the journals in economics and related disciplines issued by economic institutes of the Russian Academy of Sciences. The ranking is based on the analysis of the bibliometric data of the Russian Science Citation Index. The author substantiated the composition of indicators that, in the author's opinion, provide the most objective approach to evaluating the importance of the title in the scientific community, are the most transparent and make it easy to verify the results obtained. The ranking is based on an integral index calculated by the method of multidimensional comparative analysis. The index was calculated with the use of standardized coefficients, by normalizing the bibliometric indicators relative to the maximum values of the indicators under comparison. The data thus obtained helped distinguish the core consisting of ten leading journals in economics and related disciplines among those published by economic institutes of the Russian Academy ofSciences. These journals include publications with significant citation metrics and a wide range of contributors and readers. The degree of correlation between the final list and other rankings of economics journals proves that the composition of criteria proposed by the author and the method of aggregation makes it possible to obtain sufficiently accurate data suitable for ranking scientific journals.
Key words: scientific journals ranking, economic journal, economic institutions of RAS, bibliometric indicator, journal's impact factor, Russian Science Citation Index (RSCI).
References
1. Balatsky E.V. Rol' akademicheskikh zhurnalov: period neopredelennosti [The Role of Academic Journals: A Period of Uncertainty]. Zhurnalnovoiekonomicheskoiassotsiatsii [The Journal of the New Economic Association], 2011, no. 12, pp 164-166.
2. Balatsky E.V., Ekimova N.A. Opyt sostavleniya reitinga rossiiskikh ekonomicheskikh zhurnalov [The Experience of Ranking Russian Economic Journals]. Voprosy ekonomiki [Economic Issues], 2015, no. 8, pp. 99-115.
3. Bednyi B.I., Sorokin Yu.M. O pokazatelyakh nauchnogo tsitirovaniya i ikh primenenii [About Science Citation Indices and Their Applications]. Vysshee obrazovanie v Rossii [Higher Education in Russia], 2012, no. 3, p. 23.
4. Gal'perin V.M., Ignat'ev S.M., Morgunov V.I. Mikroekonomika: v 2-kh t. [Microeconomics: in 2 Volumes]. Under general editorship of V. M. Gal'perin. Saint Petersburg: Ekonomicheskaya shkola, 1999. Vol. 2. Pp. 168-169, 171.
5. Garfield E. Mozhno li vyyavlyat' i otsenivat' nauchnye dostizheniya i nauchnuyu produktivnost'? [Can We Identify and Evaluate Scientific Achievements and Scientific Performance]. Vestnik ANSSSR [Herald of the Academy of Sciences of the USSR], 1982, no. 6, pp. 42-50.
6. Kleiner G.B. Missiya akademicheskogo zhurnala: mezhdu fundamental'nost'yu i aktual'nost'yu [The Mission of an Academic Journal: Between Fundamental Approach and Topicality]. Zhurnal novoi ekonomicheskoi assotsiatsii [The Journal of the New Economic Association], 2011, no. 12, pp. 171-173.
7. Murav'ev A. A. K voprosu o klassifikatsii rossiiskikh zhurnalov po ekonomike i smezhnym distsiplinam [On the Issue of Classification of Russian Journals in Economics and Related Disciplines]. Nauchnyedoklady [Scientific Reports]. Saint Petersburg: VShM SPbGU, 2012. No. 14 (R). 60 p.
8. Murav'ev A.A. O nauchnoi znachimosti rossiiskikh zhurnalov po ekonomike i smezhnym distsiplinam [On Scientific Value of Russian Journals in Economics and Related Fields]. Voprosy ekonomiki [Economic Issues], 2013, no. 4, pp. 130-151.
9. Pislyakov V.V. Metody otsenki nauchnogo znaniya po pokazatelyam tsitirovaniya [Methods for Assessing of Scientific Knowledge by Citation Indicators]. Sotsiologicheskiizhurnal [Sociological Journal], 2007, no. 1, pp. 128-140.
10. Pislyakov YV. Bibliometricheskie indikatory v resursakh Tomson Reuters [Bibliometric Indicators in the Thomson Reuters Information Resources]. In: Akoev M.A., Makrusova V.A., Moskaleva O.V., Pislyakov V.V. Rukovodstvo po naukometrii: indikatory razvitiya nauki i tekhnologii: monografiya [Guide to Scientometrics: Indicators of Development of Science and Technology: Monograph]. Yekaterinburg, 2014. Pp. 75-163.
11. Proekt NIU VShEpo ekspertnomu ranzhirovaniyu rossiiskikh nauchnykh zhurnalov [NRU HSE Project on Expert Ranking of Russian Scientific Journals]. Moscow: Upravlenie akademicheskoi ekspertizy NIU VShE. Available at: http://www.hse.ru/academexpert/journals
12. Savitskaya G.V. Teoriya analiza khozyaistvennoideyatel'nosti [Theory ofAnalysis of Economic Activity]. Moscow, 2007. 288 p.
13. Tatarkin A.I. Akademicheskii zhurnal: kakim on viditsya iz regionov [An Academic Journal as Seen From the Country Regions]. Zhurnalnovoi ekonomicheskoi assotsiatsii [The Journal of the New Economic Association], 2011, no. 12, pp. 182-185.
14. Tret'yakova O.V. K voprosu ob impakt-faktore nauchnogo zhurnala i metodikakh ego formirovaniya [On the Issue of the Impact Factor of a Scientific Journal and Methods of Its Formation]. Voprosy territorial'nogo razvitiya [Territorial Development Issues], 2014, no. 5 (15). Available at: http://vtr.isert-ran.ru/?module=Articles&actio n=view&aid=3817
15. Tret'yakova O.V. Ekonomicheskii zhurnal: problemy i perspektivy prodvizheniya na natsional'nom i mezhdunarodnom urovne [Economic Journal: Problems and Prospects of Promotion at the National and International Level]. Ekonomicheskie i sotsial'nye peremeny: fakty, tendentsii, prognoz [Economic and Social Changes: Facts, Trends, Forecast], 2014, no. 3 (33), pp. 209-222. DOI: 10.15838/esc/2014.3.33.16
16. Garfield E. The Agony and the Ecstasy — the History and the Meaning of the Journal Impact Factor. Report at the Fifth International Congress on Peer Review in Biomedical Publication. Chicago, 2005. Available at: http://garfield. library.upenn.edu/papers/jifchicago2005.pdf.
17. Garfield E., Sher I. H. New Factors in the Evaluation of Scientific Literature Through Citation Indexing. American Documentation, 1963, vol. 14, no. 3, pp. 195—201.
18. Garfield E. Citation Indexes to Science: a New Dimension in Documentation through Association of Ideas. Science, 1955, vol. 122, no. 3159, pp. 108-111.
19. Garfield E. The Evolution of the Science Citation Index. Contribution to Science, 2009, no. 5 (1), pp. 63-70.
20. Hoeffel C. Journal Impact Factors (Letter). Allergy, vol. 53, no. 12, p. 1225.
21. Rousseau R.L. Journal Evaluation: Technical and Practical Issues. Library Trends, 2002, vol. 50, no. 3, pp. 418-439.
