CC BY
154
ДИСКУССИОННАЯ ПЛОЩАДКА
DOI: 10.15838/esc.2018.3.57.12 УДК 001.92, ББК 73
© Третьякова О.В.
Импакт-рейтинг экономических журналов академического сектора:
критерии и методика построения
Аннотация. Быстрый рост числа выпускаемых научных журналов актуализировал проблему выбора среди них ведущих. В настоящей работе обобщены методологические подходы к оценке научных журналов, которые сложились к настоящему времени, и обоснована применимость библиометри-ческих показателей для характеристики значимости и востребованности изданий в научных кругах. Результаты сравнительной оценки экономических журналов, аффилированных с организациями РАН, представлены в виде импакт-рейтинга, построенного на анализе библиометрических данных Российского индекса научного цитирования и отражающего уровень влияния входящих в него изданий. Обоснован состав показателей, которые позволяют комплексно подойти к оценке журналов и являются доступными для проверки полученных результатов. Доказано, что состав критериев и способ их агрегирования пригодны для ранжирования научных журналов, что подтверждается корреляцией полученных результатов с данными других рейтингов. Ранжирование журналов осуществлено по методике многомерного сравнительного анализа, основанной на методе расстояний. Выделено ядро из десяти ведущих научных журналов по экономике, аффилированных с организациями академического сектора. Показано, что это хорошо известные в научном сообществе издания, оказывающие воздействие на развитие экономической науки в стране. Перспективы проведенного исследования видятся в применении описанной методики к ранжированию всех экономических журналов. Результаты могут учитываться научными организациями с целью определения стратегических приоритетов развития периодических изданий.
Ключевые слова: импакт-рейтинг научных журналов, экономический журнал, Российская академия наук, библиометрический показатель, импакт-фактор журнала, уровень влияния журнала, Российский индекс научного цитирования (РИНЦ).
Для цитирования: Третьякова О.В. Импакт-рейтинг экономических журналов академического сектора: критерии и методика построения // Экономические и социальные перемены: факты, тенденции, прогноз. 2018. Т 11. № 3. С. 179-194. DOI: 10.15838/esc.2018.3.57.12
For citation: Tret'yakova O.V. The impact rating of academic journals in economics: ranking criteria and methodology. Economic and Social Changes: Facts, Trends, Forecast, 2018, vol. 11, no. 3, pp. 179-194. DOI: 10.15838/esc.2018.3.57.12
Ольга Валентиновна ТРЕТЬЯКОВА
Вологодский научный центр Российской академии наук Вологда, Российская Федерация, 160014, ул. Горького, д. 56а E-mail: [email protected]
Введение
Вопрос о качестве научных журналов и выборе среди них ведущих набирает остроту в связи со стремительным ростом числа выпускаемых изданий1. Новый виток актуальности эта проблема получила в январе 2018 года, когда президент РАН Александр Сергеев сообщил на своей пресс-конференции, что госзадания академических институтов на 2018 год скорректируют в сторону увеличения, но при определении объема дополнительных публикаций будет приветствоваться не столько их количество, сколько качество и востребованность публикуемых работ2. В последовавших за этим рекомендациях по корректировке планов научно-исследовательских работ и государственных заданий на 2018 год предложено учитывать требование к квартилям журналов в отношении дополнительных публикаций. Таким образом, можно говорить о том, что приоритеты публикационной политики, которой должны придерживаться научные организации, скорректированы в пользу качественных показателей.
Ученых ориентируют на публикации в высокорейтинговых журналах. И если в случае с зарубежными изданиями понятно, что речь идет о тех из них, которые индексируются в международных наукометрических базах данных и ранжируются в них по квартилям в зависимости от значений импакт-фактора, то ситуация с отечественными изданиями представляется менее ясной. Очевидно, что результаты всех исследований российских ученых не могут быть опубликованы только в зарубежных журналах. Для обеспечения конкурентоспособности нашей страны в мире необходимо формировать ядро российских научных журналов, способных наравне с лидерами международной научной периодики оказывать влияние на развитие всех научных направлений.
На сегодняшний день нет официальных списков ведущих изданий по отраслям. К сожалению, в российских реалиях так и не сло-
1 В Научной электронной библиотеке зарегистрировано более 1000 журналов по тематике «Экономика и экономические науки», из которых 495 индексируются в РИНЦ (данные НЭБ на апрель 2018 г.).
2 Госзадание для ученых изменится: о чем договорились ФАНО и РАН // Официальный сайт Российской академии наук. URL: http://www.ras.ru/news/shownews. aspx?id=9420b33d-fb71-45b3-a997-88f2a7d79a64
жилась национальная база данных, индексирующая ведущие научные журналы. Российский индекс научного цитирования (РИНЦ), определенно, не решает эту задачу, поскольку включает журналы по заявительному принципу, не устанавливая для них жестких критериев, позволяющих отобрать только качественные издания. Таким образом, проблема оценки научных журналов и выбора критериев для выявления лучших из них легла на плечи научного сообщества. Эксперты пытаются решить эти вопросы путем ранжирования журналов по различным параметрам. Появившиеся в последнее время рейтинги журналов по экономике стали предметом широкого обсуждения в научном сообществе. Критическому осмыслению подверглись не только критерии, которые выбираются для оценки изданий в разных рейтингах, но и сама идея о ранжировании журналов и возможность подойти к оценке их качества. Острые споры вызывал вопрос о том, что должно лежать в основе ранжирования — библиометриче-ские показатели или экспертные оценки.
В предыдущем выпуске журнала «Экономические и социальные перемены: факты, тенденции, прогноз» в рубрике «Дискуссионная площадка» была опубликована статья Е.В. Балацкого и Н.А. Екимовой «Возможности консолидации рейтинговых продуктов в Интернет-среде». Описывая опыт реализации проекта по консолидации рейтинговых продуктов на едином информационно-аналитическом портале, авторы пришли к выводу, что «в настоящее время наблюдается определенное противостояние рейтингового движения и экспертного сообщества, которое распространяется и на противостояние количественных и качественных рейтингов» [1]. Эксперты, отмечая слабые стороны радикального проявления обоих подходов, полагают, что притирка данных направлений будет продолжаться долго, но при этом «расширяющаяся практика составления рейтингов и диалог ранкеров с широкой экспертной общественностью будут способствовать росту качества как первых, так и вторых» [1].
Что касается нас, то мы, отдавая должное возможностям экспертной оценки, все же разделяем точку зрения о том, что в методике оценки востребованности и научной значимости журналов количественные факторы могут
иметь преимущество [2]. Использование количественных показателей позволяет провести сопоставления в большой выборке изданий, что крайне затруднительно при проведении экспертного анализа. Более того, несмотря на то, что количественные показатели оценивают не содержательные аспекты журнала, а скорее формальные, существует перечень формальных требований, соответствие которому в научном сообществе считается обязательным для журнала с высоким качеством.
Ранее мы уже предпринимали попытку составить рейтинг экономических научных журналов институтов РАН, основанный на анализе библиометрических показателей [3]. Тогда мы получили пригодные для ранжирования результаты, вполне сопоставимые с данными других рейтингов. Тем не менее топовый список журналов содержал так называемые выбросы, т.е. издания, которые попали в верхнюю часть рейтинга только на основании одного показателя, оказавшегося лучшим в референтной группе.
Продолжив в дальнейшем работу по изучению отдельных критериев ранжирования, мы пришли к выводу, что для оценки уровня влияния научных журналов необходимо учитывать такой важный показатель, как число высокоци-тируемых статей. Этим мы определяем не только значимость журналов, но и выявляем среди них те, которые публикуют прорывные результаты исследований.
Таким образом, цель данной работы состоит в установлении и обосновании критериев, позволяющих выявлять журналы с высоким уровнем влияния в научной среде, и применении этих критериев для ранжирования. Результаты исследования представлены в виде рейтинга экономических журналов, аффилированных с организациями Российской академии наук.
Чтобы обеспечить условия для правильного использования и корректной интерпретации полученных результатов ранжирования, мы назвали получившийся список импакт-рейтингом (от англ. impact3), который определили как тип рейтинга научных журналов, основанный на анализе библиометрических показателей и от-
3 Impact — иметь важный или заметный эффект для кого-л. или чего-л. (Longman Dictionary of Contemporary English); сильный эффект или влияние, которое что-либо оказывает на ситуацию или человека (Cambridge Dictionary).
ражающий уровень влияния входящих в него научных журналов. Под влиянием такого рода мы понимаем воздействие журнала на научное направление, способность аккумулировать результаты прорывных исследований, а также то, как сами ученые воспринимают научный авторитет и престиж данного издания.
Отдельно стоит пояснить, что, сопоставляя журналы по библиометрическим параметрам, мы не имеем в виду превалирующий характер такой оценки и вполне допускаем, что она часто требует наложения на полученные результаты экспертного мнения. Но в этом случае прежде всего возникает вопрос о селекции экспертов и исключении субъективных факторов оценки. Поскольку сами ученые-экономисты отмечают, что в ситуации снижения индекса академической этики в современном российском экспертном сообществе оно не способно объективно оценивать своих коллег [1], мы полагаем, что для прозрачности конечных данных составлением экспертных рейтингов должны заниматься независимые организации, не аффилированные с оцениваемыми журналами.
Полученные нами результаты могут использоваться не только для выявления престижных в своем направлении журналов, публикующих влиятельные статьи, но и учитываться научными организациями с целью определения стратегических приоритетов публикационной деятельности. Редколлегии могут скорректировать программы развития своих журналов, ориентируясь на показатели, которые могут быть улучшены за счет повышения требований к уровню публикаций и качеству их рецензирования, ужесточения контроля самоцитирования, расширения географии авторов.
Теоретические основы ранжирования научных журналов
В связи с увеличением количества издаваемых научных журналов остро стоит вопрос об их дифференциации и выборе среди них ведущих.
В зарубежной практике довольно сильны библиометрические традиции в ранжировании экономических журналов [4], хотя один из самых ранних рейтингов, разработанный Р. Хо-кинсом, Л. Риттером и И. Уолтером, был основан на анализе мнений экспертов и не учитывал количественные данные [5]. Наукометрический подход развивался параллельно и был связан с
появлением рейтингов журналов, разработанных на основе анализа цитирования [6; 7]. И если более ранние рейтинги были основаны на использовании простых методов, например на расчете соотношения цитирований и количества печатных символов, опубликованных за определенный период [8], то с развитием направления исследователи предприняли попытки ввести более сложные методы анализа цитирования с целью исправить методологические ограничения импакт-фактора, который применялся как основной библиометрический параметр [4; 9]. В современных исследованиях также появились новые подходы к измерению потенциального воздействия журналов не только в профессиональной научной среде, но и в более широком сообществе. Так, например, было сформировано ядро экономических журналов по их цитируемости в основных экономических учебниках [10]. Следует отдельно отметить, что зарубежные ученые, используя данные анализа цитирования в процессе ранжирования, рассматривают цитаты как показатель качества, который отражает, по крайней мере, воздействие [11], и применяют эти данные для получения индекса качества научных журналов [6]. Говоря о предназначении методик анализа цитирования в целом, зарубежные эксперты полагают, что они применимы прежде всего для оценки значимости и эффективности отдельных журналов, их роли и положения в системе научной коммуникации, а также для понимания того, как сами ученые воспринимают качество и престиж данных изданий [12].
Первые попытки выделить ведущие экономические журналы в России, относящиеся к началу 2000-х годов, основывались на учете экспертных мнений. Таким способом был определен состав перечня передовых экономических журналов, сравнительный анализ которых представлен в статье С. Аукуционека и Г. Чуркиной, опубликованной в 2002 году в журнале «Вопросы экономики» [13]. Следует заметить, в публикациях этого периода, использующих сведения о ведущих научных журналах, эксперты не заостряли внимание на критериях и процедуре их отбора. Так, например, И.Г. Де-жина и В.В. Дашкеев ограничились только упоминанием о том, что состав перечня из 12 экономических журналов, который использовался авторами как источник для выявления ведущих
экономистов, определен экспертным путем из числа наиболее известных [14].
На сегодняшний день сформировались несколько методологических подходов к оценке научного журнала (табл. 1): 1) библиометриче-ский, основанный на анализе наукометрических показателей (рейтинг Муравьева, 2013 г. [15]; рейтинг Третьяковой, 2015 г. [3]); 2) экспертный, построенный на социологических измерениях мнений научного сообщества (проект НИУ ВШЭ, 2015 г. [16]; рейтинг Рубинштейна, 2017 г. [17]); 3) экспертно-библиометрический, сочетающий библиоме-трический анализ с оценками экспертов (рейтинг Балацкого—Екимовой, с 2013 г. [18]);
4) сетевой, основанный на выявлении системно-значимых научных журналов в сетях, возникающих в результате перекрестного цитирования (Алескеров и др., 2016 г. [19]);
5) агрегирование существующих рейтинговых продуктов (рейтинг Субочева, 2016 [20]; консенсусный рейтинг Балацкого—Екимовой, 2017 г. [21]).
По мнению научно-экспертного сообщества, ни один из этих подходов не лишен недостатков. В качестве уязвимых мест рейтингов указываются относительно произвольный выбор библиометрических индикаторов и их слабая корреляция с научным авторитетом журналов, недостаточно обоснованная процедура агрегирования используемых показателей или экспертных оценок, а также нерепрезентативность опросов экспертов [22]. Эксперты считают, что свидетельством ненадежности является существование различных рейтингов российских журналов, опирающихся на одни и те же показатели, но дающих разные результаты ранжирования [23].
Активизировавшееся рейтинговое движение по оценке ведущих экономических журналов России породило в научных кругах дискуссию по поводу выбора методологических подходов к составлению рейтингов, правомерности использования в них библиометрических показателей, сопоставимости полученных результатов. Мнения относительно различных рейтинговых продуктов разделились вплоть до абсолютно полярных. В сложившейся ситуации создание в 2016 году информационно-аналитического портала «Рейтинги» на сайте журнала «Неэр-годическая экономика» стало попыткой кон-
Таблица 1. Основные методологические подходы к ранжированию российских экономических журналов
Методологический подход Рейтинговый продукт Дата выпуска Разработчик Организация
Библиометрический Рейтинг журналов по экономике и смежным дисциплинам 2013 А.А. Муравьев СПбГУ; НИУ ВШЭ (Москва)
Рейтинг научных журналов экономических институтов РАН 2015 О.В. Третьякова Вологодский научный центр РАН
Экспертный Рейтинг российских научных журналов ВШЭ (Экономика) 2015 Управление академической экспертизы НИУ ВШЭ НИУ ВШЭ (Москва)
«Кластерный» рейтинг российских экономических журналов 2017 Рубинштейн и др. Институт экономики РАН; ' НИУ ВШЭ (Москва)
Экспертно-библиометрический Рейтинг ведущих экономических журналов России 2013-2016 Е.В. Балацкий, Н.А. Екимова Финансовый университет при Правительстве РФ
Сетевой Ранжирование экономических журналов на основе анализа перекрестного цитирования 2016 Ф.Т. Алескеров и др. НИУ ВШЭ (Москва)
Агрегирование Агрегированный рейтинг научных журналов по экономике и менеджменту 2016 А.Н. Субочев НИУ ВШЭ (Москва)
Консенсусный рейтинг ведущих экономических журналов России 2017 Е.В. Балацкий, Н.А. Екимова Финансовый университет при Правительстве РФ
солидировать рейтинговые продукты и наладить диалог ранкеров с широкой экспертной общественностью, чтобы сгладить противоречия между количественными и качественными оценками, а также выработать правильное отношение к рейтингам, предотвратив ошибки, связанные с данным инструментами оценки [1].
Разработанный нами импакт-рейтинг, отражающий уровень влияния научных журналов, основан на анализе показателей цитирования. Традиционное представление о цитировании как о показателе влияния и инструменте оценки научного вклада вытекает из теоретических работ Р. Мертона, который считал, что если работа ученого остается незамеченной и не используется другими членами научного сообщества, то возникают сомнения в ее ценности [24]. Подходя к трактовке роли цитирования с разных сторон, исследователи отмечают, что оно так или иначе является показателем «полезности и важности работы» (Garfield [25]), «авторитетности цитируемого труда», поскольку авторы обычно цитируют важные статьи, избегая упоминания «тривиальных» и «нерелевантных» (Gilbert [26]). Под важностью в данном случае понимается «потенциальное влияние публикации на деятельность, осуществляемую
вокруг этого исследования»; влияние определяется как реальное воздействие (Martin, Irvine [27]). Отвечая на вопрос, что именно делает вы-сокоцитируемые работы важными и авторитетными, некоторые исследователи говорят о «признании коллегами когнитивной ценности источников, ставших влиятельными благодаря высокой степени цитирования», и характеризуют цитирование как «критерий интеллектуального влияния» (Zuckerman [28]).
Разделяя мнение экспертов, что цитирование может быть использовано как инструмент для измерения влияния, которое работа оказывает на сообщество в целом (S. Cole, J.R. Cole [29]; Moed [30]), и принимая за меру полезности публикаций их цитируемость, мы провели анализ экономических журналов, аффилированных с организациями Российской академии наук, и составили импакт-рейтинг этих журналов.
Методология построения рейтинга
Инструментом оценки уровня влияния и значимости экономических журналов академического сектора послужил Российский индекс научного цитирования. В основе их ранжирования лежит методика многомерного сравнительного анализа, основанная на методе рассто-
яний, широко используемая в экономических исследованиях для комплексной сравнительной оценки результатов хозяйствования предприятий. Применительно к научным журналам данный метод позволяет учитывать не только абсолютные величины библиометрических показателей каждого журнала, но и степень их отклонений от эталона.
Для составления импакт-рейтинга, характеризующего востребованность и значимость журналов в научной среде, мы скорректировали состав критериев. Были использованы четыре показателя:
1. Двухлетний импакт-фактор РИНЦ без самоцитирования (1Р2).
2. Пятилетний импакт-фактор РИНЦ без самоцитирования (1Р5).
3. Индекс Херфиндаля по цитирующим журналам (И^).
4. Количество высокоцитируемых статей (ИР).
По нашему мнению, эти показатели, с одной стороны, позволяют с высокой степенью объективности подойти к оценке уровня востребованности и значимости издания в научных кругах, а с другой стороны, что немаловажно, являются прозрачными и доступными для проверки полученных результатов.
Импакт-фактор, предложенный американским учёным Ю. Гарфилдом в качестве инструмента измерения ценности журналов путём расчета среднего числа цитирований на статью за определённый промежуток времени [31], традиционно используется как показатель, отражающий научный престиж [32] и степень влияния журнала [34], уровень его воздействия на научное направление [35]. По мнению Хоффе-ла, широкое распространение импакт-фактора как индикатора полезности и влиятельности обусловлено тем, что он хорошо коррелирует с мнением, которое сложилось у ученых о лучших журналах в их дисциплинах [36].
Выделение в качестве критериев ранжирования журналов сразу двух показателей импакт-фактора (двухлетнего и пятилетнего) обусловлено, во-первых, стремлением выявить издания, которые публикуют самые цитируемые с момента выхода в свет статьи, оказавшие наибольшее влияние в своей области, а во-вторых, необходимостью сгладить выбросы от отдельных статей с аномальной цитируемостью
за счет учета влияния опубликованных исследований на протяжении более длительного периода времени, что позволяет не занижать рейтинг журналов, на статьи в которых следует существенная, но более медленная реакция научного сообщества. Чтобы нивелировать эффект от самоцитирования, высокий уровень которого, по заключению Р. Руссо, свидетельствует о малой известности журнала [37], для оценки используются значения импакт-фактора, учитывающие лишь ссылки из других журналов. Для журналов, имеющих англоязычные выпуски, берутся значения импакт-фактора с учетом переводной версии без самоцитирования.
Для того чтобы при ранжировании принимать во внимание не только объем цитирования, но и его масштабность, т.е. выделить журналы хорошо известные в научном сообществе и, наоборот, понизить рейтинг журналов, которые цитируются в узком круге других изданий и практикуют взаимное цитирование для искусственного повышения показателей, используется нормировка с учетом индекса Херфиндаля по цитирующим журналам. Его значение определяется как сумма квадратов процентных долей журналов, цитирующих данный, в общем количестве цитирований. Чем больше количество цитирующих журналов и чем равномернее распределены по ним ссылки на данный журнал, тем меньше величина этого показателя. Максимальное значение равное 1000 достигается, когда все ссылки сделаны из одного журнала. Высокие значения этого индекса указывают на то, что журнал востребован и оценен только небольшим числом журналов, а это, по мнению экспертов, несовместимо с общероссийским статусом издания [15].
На наш взгляд, при выявлении самых востребованных в разных тематических областях научных журналов должны учитываться сведения о количестве публикуемых в них высоко-цитируемых статей. Полагаем, что помимо значимости данный показатель будет определять научный уровень журнала, способность аккумулировать прорывные результаты исследований. И если значения двухлетнего и пятилетнего им-пакт-факторов, а также индекс Херфиндаля по цитирующим журналам были установлены по уже вычисленным в РИНЦ величинам, то количество высокоцитируемых статей мы рассчитали самостоятельно.
Для определения высокоцитируемых публикаций использовались основные принципы методики международной базы Essential Science Indicators4, по терминологии которой высоко-цитируемыми (Highly Cited Papers) считаются публикации, относящиеся к 1% наиболее цитируемых в мире среди вышедших в том же году и той же научной области. Эксперты традиционно рассматривают такие статьи как самые высококачественные работы с точки зрения международного признания научных результатов исследователей определенной страны (Aksnes, Sivertsen [38]; Garfield [39]; Glänzel, Schubert [40]; Tijssen, Visser, Leeuwen [41]; Коцемир [42]), подчеркивая их значимость для науки высокого уровня (Писляков [43]).
Мы полагаем, что основные принципы методики определения высокоцитируемых публикаций могут применяться не только к данным Web of Science, но и к показателям цитирования, полученным из других аналитических систем. Так, для оценки результатов научных исследований, принадлежащих российским экономистам, слабо представленных в международных базах, более полные публикационные данные могут быть получены из Российского индекса научного цитирования. Конечно, в этом случае мы не говорим о международном признании результатов, отраженных в выделенных публикациях, и их важности для мировой науки в целом, но делаем вывод об их значимости для российского сегмента.
Чтобы определить количество высокоцитируемых публикаций, необходимо сравнить статьи, представленные в рассматриваемом и других журналах. Таким образом, выбор таких публикаций будет обосновываться не только качеством собственных статей журнала и их цитируемостью, но и тем, как он выглядит на фоне других журналов ио этой же тематике. Поскольку работы разных лет сравнивать некорректно, по причине того что некоторые из них могли получить большее количество ссылок в
4 Essential Science Indicators — один из аналитических инструментов компании Clarivate Analytics, позволяющий раскрывать новые тенденции в науке, определять влиятельные научные организации, выявлять самые востребованные публикации и журналы в различных исследовательских областях, ранжировать лучших исследователей; основывается на данных Web of Science.
силу своего «возраста», сопоставление проводится в подмножестве публикаций, объединенных одним годом выпуска.
Анализ выполнялся на большой выборке статей, которые опубликованы в 2016 году в журналах, индексируемых в РИНЦ по тематике «Экономика. Экономические науки». Все публикации были упорядочены по мере убывания цитируемости, после чего определен верхний срез в 1% от общего числа. Одновременно по количеству ссылок последней статьи, вошедшей в верхний срез, установлено пороговое значение числа цитирований, которое должна получить публикация в журнале, чтобы попасть в число высокоцитируемых. Далее для каждого журнала из референтной группы был сформирован перечень статей, имеющих такое количество ссылок, которое удовлетворяет пороговому значению. После этого была проведена оценка качества цитирования каждой статьи. Для нашей цели мы исключили самоцитирования, а также те ссылки, которые мы условно назвали «кластерным» цитированием. Речь идет о случаях, когда одна статья множественно цитируется разными авторами в каком-то одном сборнике или журнале. Очевидно, что такое цитирование не указывает на наличие прорывных результатов и не может быть учтено при выявлении самых востребованных публикаций. После «очистки» работ от самоцитирования и «кластерных» ссылок мы установили для каждого журнала число публикаций, количество ссылок на которые осталось не ниже порогового значения, и определили их как высокоци-тируемые для журналов данной референтной группы.
Как уже упоминалось выше, общее ранжирование журналов осуществлялось по методике многомерного сравнительного анализа, основанной на методе расстояний. В каждом столбце матрицы исходных данных определен максимальный элемент (max a t), который принят за единицу. Матрица стандартизированных коэффициентов ( x. ) создана из значений, полученных путем деления каждого исходного показателя в столбце (a v ) на максимальный (оптимальный) элемент эталонного журнала (max a)
_ g-ij
J maYii;
Для показателя, отражающего индекс Хер-финдаля по цитирующим журналам, в котором лучшим считается наименьшее значение, осуществлено «обратное» нормирование.
На следующем этапе все элементы матрицы стандартизированных коэффициентов возведены в квадрат. Из суммы квадратов показателей, выбранных для оценки журналов, извлечен квадратный корень для получения интегрального показателя обобщающей рейтинговой оценки Щ ). Алгоритм расчета:
.Ку = VХЦ2 + Х122 + *132 + Х142 .
Итоговый рейтинг журналов составлен на основе ранжирования интегральных показателей Щ), определено место каждого журнала по уровню его воздействия и значимости для научного сообщества: первое место занимает журнал, которому соответствует наибольшее из полученных значений интегрального показателя; второе место — журнал, имеющий следующий результат и т. д.
Результаты ранжирования экономических научных журналов академического сектора по библиометрическим параметрам
Мы проанализировали библиометрические показатели экономических журналов, которые аффилированы с организациями академического сектора науки, входившими до реформы Российской академии наук в Секцию экономики ООН РАН и представлявшими единую референтную группу, и осуществили ранжирование этих журналов на основе анализа интегрального показателя, полученного методом многомерного сравнительного анализа библиометрических данных. Для анализа мы отобрали 16 журналов, которые включены в Российский индекс научного цитирования по тематике «Экономика и экономические науки». Как нам представляется, результаты нашего анализа могут быть полезны для других научных изданий, которые поставили перед собой задачу развития и продвижения в международных информационных системах. Кроме того, они могут быть учтены организациями, издающими рассматриваемые журналы, для разработки стратегий развития изданий. Исходные данные и результаты ранжирования журналов представлены в таблице 2.
Большинство из этих журналов достаточно авторитетны в российских научных кругах, о чем косвенно свидетельствует распределение значений импакт-факторов.
В указанной референтной группе мы сопоставили значения двухлетнего и пятилетнего импакт-факторов РИНЦ без самоцитирования за 2016 год с их медианными значениями в группе журналов по тематике «Экономика. Экономические науки» (данные РИНЦ на апрель 2018 г.). Выявлено, что 410 изданий имеют значение двухлетнего импакт-фактора больше 0. Медиана распределения двухлетних импакт-факторов равна 0,293. Это значит, что половина журналов имеет импакт-фактор выше 0,293, а половина — ниже. Медиана значений пятилетних импакт-факторов составила 0, 260.
У 15 журналов из анализируемой референтной группы значения импакт-факторов существенно превысили медианный показатель, что говорит о достаточно высоком уровне их цити-руемости, а следовательно, востребованности в научных кругах и значимости для научной дисциплины (рис. 1).
Что касается индекса Херфиндаля по цитирующим журналам, то он имеет низкие значения (менее 1 тыс.) у 14 журналов. Из этого следует, что они в целом достаточно известны в научном сообществе.
Более детально изложим результаты расчета показателя числа высокоцитируемых статей, отсутствующего в РИНЦ и выполненного нами самостоятельно. Анализ проводился на большом публикационном массиве экономических журналов за 2016 год. Выборку составили 606 журналов с количеством статей 52 220 ед. Применение описанной выше методики международной базы Essential Science Indicators позволило выделить 547 высокоцитируемых статей, опубликованных в российских экономических журналах в 2016 году (по данным РИНЦ на январь 2018 года).
Пороговое значение числа цитирований, которое должна была получить работа, вышедшая в течение указанного года, чтобы попасть в 1% высоцитируемых, — 11. Общее число ссылок на публикации, вошедшие в верхний срез самых цитируемых трудов, превысило 10 тыс. Таким образом, на долю 1% всех публикаций российских экономических журналов в РИНЦ
Рис. 1. Распределение экономических журналов, издаваемых институтами РАН, по значению двухлетнего импакт-фактора РИНЦ без самоцитирования за 2016 г. (данные РИНЦ на апрель 2018 г.
♦ 7,288
• 4,650
2,538 ♦
2,104
2,5 ♦
2 ♦
1,5 • 1,363
1 1,484 • 1,357 ♦ • 1,149 1,118 ♦ • 1,042 ♦ 0,981 ♦ • 0,91 ♦ 0,905 %
0,828 • 0,799 • 0,85
0,5 0,726
0,628
0,788 ♦
0,655 ♦
0,654 ♦
0,829
1 0,539 0,607 '
0,59
0,566
-0,191-* 0,3.45________;_
0,253
0,231
♦ Двухлетнийимпакт-факторРИНЦ
• Пятилетний импакт-фактор РИНЦ
Медиана распределения двухлетних импакт-факторов Медиана распределения пятилетних импакт-факторов
Цифрами на графике обозначены следующие журналы:
1 - Вопросы экономики
2 - Проблемы прогнозирования
3 - Экономика региона
4 - Пространственная экономика
5 - Экономические и социальные перемены: факты, тенденции, прогноз
6 - Журнал новой экономической ассоциации
7 - Проблемы развития территории
8 - Прикладная эконометрика
9 - ЭКО
10 - Регион: экономика и социология
11 - Вестник Института экономики Российской академии наук
12 - Региональные агросистемы: экономика и социология
13 - Экономика и математические методы
14 - Экономическая наука современной России
15 - Журнал экономической теории
16 - Региональные проблемы преобразования экономики
2,5
2
0
приходится 8% общего объема цитирований, т.е. каждая двенадцатая ссылка приходится на высокоцитируемую статью.
Данные о количестве высокоцитируемых статей в экономических журналах академического сектора представлены на рис. 2.
Анализ относительных индикаторов, показывающих долю статей, которые опубликованы в журнале и которые можно считать высокоци-тируемыми, позволил установить, что наибольший удельный вес высокоцитируемых публикаций в общем числе всех статей имеет журнал «Вопросы экономики». Можно сделать вывод, что в 2016 году каждая третья публикация из этого журнала вошла в категорию высокоци-тируемых.
Ранжирование журналов на основе интегрального показателя, полученного методом многомерного сравнительного анализа библи-ометрических показателей журналов по заявленным параметрам, дало возможность выделить ядро из десяти ведущих экономических журналов, аффилированных с научными организациями РАН (табл. 2). Судя по результатам, в топ рейтинга вошли хорошо известные в научном сообществе издания, оказывающие воздействие на развитие экономической науки в стране. Это можно заключить по высоким показателям цитирования, косвенно отражающим научный престиж журналов. Их широкая известность в России подтверждается значительным числом цитирующих научных
Рис. 2. Количество высокоцитируемых статей в экономических журналах академического сектора, 2016 г. (данные РИНЦ на январь 2018 г.)
Количество публикаций —•— Число цитирований
журналов, о чем свидетельствуют низкие значения их индекса Хефиндаля. Все это позволяет отнести издания, вошедшие в ядро перечня, к ведущим российским журналам по экономике и определить их статус как общероссийский.
Уровень воздействия журналов, вошедших в первую пятерку, мы характеризуем как высокий. На сегодняшний день они пользуются авторитетом не только среди российских экономистов, но и в международном научном сообществе, т.к. включены в главные международные наукометрические базы данных: «Вопросы экономики» (WoS : ESCI, Scopus), «Экономика региона» (WoS : ESCI, Scopus), «Журнал Новой экономической ассоциации» (WoS : ESCI, Scopus), «Проблемы прогнозирования» (Scopus), «Экономические и социальные перемены: факты, тенденции, прогноз» (WoS: ESCI). Как можно отметить, традиционно сюда отбираются наиболее влиятельные в разных научных направлениях журналы, которые продвигают передовые идеи и соответствуют высоким стандартам качества научного контента. До принятия решения о включении в эти базы данных журналы проходят осуществляемый группой экспертов отбор не только по
формальным, но и качественным критериям. То есть можно говорить о подтверждении научного авторитета рассматриваемых изданий не только библиометрическими показателями, но и независимым экспертным мнением.
С целью верификации итоговых результатов сравним их с данными других рейтингов, близких по временному периоду (табл. 3). В первую очередь, нас интересует Рейтинг ведущих экономических журналов России—2016, разработанный директором Центра макроэкономических исследований Финансового университета при Правительстве РФ Евгением Всеволодовичем Балацким и его коллегой Натальей Александровой Екимовой5. Результаты сопоставления двух перечней показывают, что в алмазном списке Балацкого—Екимовой представлены девять журналов из 10-ти, образующих ядро нашего рейтинга. При этом ранги первой пятерки изданий из нашего списка совпадают с порядком следования журналов, аффилированных с организациями РАН, в рейтинге Балацкого.
5 Рейтинг ведущих экономических журналов России — 2016 // Неэргодическая экономика. http://nonerg-econ. ru/rdata/91/
Таблица 2. Результаты сравнительной рейтинговой оценки экономических научных журналов, издаваемых организациями академического сектора
-8-
5*
Go
Журнал Матрица исходных данных Матрица стандартизированных коэффициентов Результаты сравнительной рейтинговой оценки
№ Ш Название Показатели (as) Коэффициенты (ху) Квадрат показателя Сумма Инт. показатель (А) Место
if2 IF5 HI, HP х2 х3 х4 х/ х22 х/ х/
1 Вопросы экономики 7,288 4,650 81 33 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 4,000 2,000 1
2 Экономика региона 2,500 1,484 146 7 0,343 0,319 0,555 0,212 0,118 0,102 0,308 0,045 0,572 0,757 2
3 Журнал Новой экономической ассоциации 1,118 0,828 117 0 0,153 0,178 0,692 0,000 0,024 0,032 0,479 0,000 0,535 0,731 3
4 Проблемы прогнозирования 2,538 2,104 206 3 0,348 0,452 0,393 0,091 0,121 0,205 0,155 0,008 0,489 0,699 4
5 Экономические и социальные перемены: факты, тенденции, прогноз 1,363 1,149 176 4 0,187 0,247 0,460 0,121 0,035 0,061 0,212 0,015 0,323 0,568 5
6 Вестник Института экономики Российской академии наук 0,788 0,499 155 3 0,108 0,107 0,523 0,091 0,012 0,012 0,273 0,008 0,305 0,552 6
7 ЭКО 0,910 0,628 161 3 0,125 0,135 0,503 0,091 0,016 0,018 0,253 0,008 0,295 0,543 7
8 Пространственная экономика 2,000 1,357 304 2 0,274 0,292 0,266 0,061 0,075 0,085 0,071 0,004 0,235 0,485 8
9 Прикладная эконометрика 0,981 0,799 230 0 0,135 0,172 0,352 0,000 0,018 0,030 0,124 0,000 0,172 0,414 9
10 Экономическая наука современной России 0,607 0,829 224 0 0,083 0,178 0,362 0,000 0,007 0,032 0,131 0,000 0,169 0,412 10
11 Регион: экономика и социология 0,905 0,850 241 0 0,124 0,183 0,336 0,000 0,015 0,033 0,113 0,000 0,162 0,402 11
12 Экономика и математические методы 0,654 0,539 237 0 0,090 0,116 0,342 0,000 0,008 0,013 0,117 0,000 0,138 0,372 12
13 Проблемы развития территории 1,042 0,726 272 0 0,143 0,156 0,298 0,000 0,020 0,024 0,089 0,000 0,133 0,365 13
14 Журнал экономической теории 0,590 0,566 270 0 0,081 0,122 0,300 0,000 0,007 0,015 0,090 0,000 0,111 0,334 14
15 Региональные агросистемы: экономика и социология 0,655 0,345 1104 0 0,090 0,074 0,073 0,000 0,008 0,006 0,005 0,000 0,019 0,138 15
16 Региональные проблемы преобразования экономики 0,231 0,253 2230 0 0,032 0,054 0,036 0,000 0,001 0,003 0,001 0,000 0,005 0,073 16
Примечания:
IF2 - двухлетний импакт-фактор РИНЦ без самоцитирования (с учетом переводной версии) - число ссылок в текущем году из других журналов на статьи в данном журнале, опубликованные за предыдущие два года, поделенное на число этих статей.
IF5 - пятилетний импакт-фактор РИНЦ без самоцитирования - число ссылок в текущем году из других журналов на статьи в данном журнале, опубликованные за предыдущие пять лет, поделенное на число этих статей.
Hlj - пятилетний индекс Херфиндаля по цитирующим журналам. Рассчитывается как сумма квадратов процентных долей журналов, цитирующих данный, в общем количестве цитирований. При расчете учитываются ссылки из текущего года на статьи за предыдущие 5 лет, в том числе самоцитирование. Чем больше количество цитирующих журналов и чем равномернее распределены по ним ссылки на данный журнал, тем меньше величина этого показателя. Максимальное значение равно 10000 и достигается, когда все ссылки сделаны из одного журнала. HP - количество высокоцитируемых статей (hot papers).
ft н № tc Я о м
03
о м
Таблица 3. Сопоставление результатов импакт-рейтинга журналов академического сектора с данными других рейтингов российских экономических журналов
Журнал Импакт-рейтинг, 2016 Рейтинг Балацкого-Екимовой, 2016 Ранг/порядок следования журналов РАН Консенсусный рейтинг Балацкого-Екимовой, 2017 Градация / ранг Рейтинг Рубинштейна, 2017 Категория / ранг
Вопросы экономики 1 1/1 А / 2 A1 / 2
Экономика региона 2 3/2 D/27 -
Журнал новой экономической ассоциации 3 5/3 А/3 A1 / 1
Проблемы прогнозирования 4 6/4 В/10 A3 / 8
Экономические и социальные перемены: факты, тенденции, прогноз 5 10/5 E/46 -
Вестник Института экономики Российской академии наук 6 - D/ 21 B1 / 14
ЭКО 7 39/9 D / 19 -
Пространственная экономика 8 20/7 B/9 A3 / 11
Прикладная эконометрика 9 12/6 А/5 A2 / 4
Экономическая наука современной России 10 21/8 B/11 B1 / 15
Более слабая степень корреляции прослеживается при сопоставлении полученных нами результатов ранжирования с данными Консен-сусного рейтинга ведущих экономических журналов России [21]. Хотя в нем представлены все десять журналов, образующих ядро нашего рейтинга, их положение относительно друг друга значительно разнится. Полагаем, что это обусловлено разными критериями ранжирования и временным разрывом между нашим списком и частными рейтинговыми продуктами, результаты которых обобщены в Консенсус-ном рейтинге.
Самая низкая корреляция прослеживается при сравнении результатов нашего ранжирования с рейтингом, который разработан под руководством А.Я. Рубинштейна и в котором учитываются только данные экспертных опросов [17]. На наш взгляд, это обусловлено не столько отсутствием значимых связей между библиоме-тричекими показателями и мнением экспертного сообщества, основанным на интуитивных представлениях экономистов о научном авторитете журналов, сколько составом исход-
ной выборки журналов. Как указали разработчики рейтинга, список анализируемых журналов сформирован на основе перечня изданий, включенных в ИБО, принципы построения которого вызвали много вопросов у экспертного сообщества, обсуждавшихся на страницах научных изданий [44]. Учитывая известные недостатки этого перечня, авторы сделали попытку скорректировать выборку изданий. Тем не менее мы видим, что в нее не попали даже те журналы, которые включены в глобальные индексы цитирования и у которых качество и уровень влияния подтверждены независимым экспертным мнением на международном уровне. Мы полагаем, что в случае расширения выборки и, возможно, «географии» экспертов результаты рейтинга, основанного на данных социологических опросов, были бы иными и степень их корреляции с результатами нашего рейтинга стала бы выше.
Исходя из высокой степени корреляции с рейтингом Балацкого—Екимовой, основанным на сочетании библиометрических и экспертных оценок, можно предположить, что выбранные
нами состав критериев и способ их агрегирования могут быть пригодны для ранжирования не только изданий академического сектора, но и всех российских экономических журналов. Некоторые сложности, связанные с применением данного способа к ранжированию широкого круга журналов, видятся в процедуре расчета количества высокоцитируемых публикаций, в частности, в необходимости дополнительной качественной оценки ссылок, которые получила каждая такая статья.
Заключение
Подводя итоги, следует отметить, что полученные результаты позволяют подойти к вопросу о выборе критериев, в частности библиоме-трических, для оценки научных журналов. Предложенный нами состав критериев скорректирован по сравнению с наборов критериев, использованных в предыдущем рейтинге [3]. Введение показателя числа высокоцитируемых публикаций дало нам возможность углубить анализ цитирования и опираться в оценке научного авторитета журнала на характеристику его способности аккумулировать «прорывные» статьи. Результаты исследования представлены в виде импакт-рейтинга экономических журналов, который отражает уровень их влияния в научном направлении, важность и полезность изданий, их научный авторитет. Степень корреляции итогового списка с другими рейтингами экономических журналов подтверждает то, что предложенные нами состав критериев и способ их агрегирования позволяют сформировать достаточно объективные данные, пригодные для ранжирования научных журналов.
В целом можно сказать, что интегральные показатели, полученные методом многомерного сравнительного анализа нескольких значимых библиометрических показателей изданий,
основанных на данных РИНЦ за 2016 год, позволили ранжировать и выделить среди них ядро из десяти ведущих научных журналов по экономике, аффилированных с организациями академического сектора. Это хорошо известные в научном сообществе издания, оказывающие воздействие на развитие экономической науки в стране.
Очевидно, что представленная в данном исследовании методика построения импакт-рей-тинга может применяться к ранжированию широкого круга научных изданий. В этом случае упростить процедуру расчета некоторых показателей, в частности числа высокоцитируемых публикаций, могло бы расширение возможностей РИНЦ за счет введения индикаторов, отражающих так называемое «экстремальное» цитирование. Хорошим решением проблемы сбора объективных данных могло бы стать введение инструментов, позволяющих автоматически исключать ссылки, появившиеся в результате манипулирования. Очевидно, что совершенствование систем, аккумулирующих исходные данные, которые используются для составления рейтингов, окажет положительный эффект на результаты ранжирований.
В заключение отметим, что рейтинги могут использоваться как дополнительная информация для анализа эффектов и факторов, сдерживающих успех академических изданий, а также как своеобразные ориентиры, достижение которых способно в перспективе повысить качество не только конкретных журналов, но и всей российской экономической науки. Выявленные же недостатки существующих в настоящее время рейтингов могут быть преодолены в процессе дальнейшего изучения вопроса о выборе критериев для ранжирования изданий и совершенствования методики их анализа.
Литература
1. Балацкий Е.В., Екимова Н.А. Возможности консолидации рейтинговых продуктов в Интернет-среде // Экономические и социальные перемены: факты, тенденции, прогноз. 2018. Т. 11. № 2. С. 37—51. 001: 10.15838^с.2018.2.56.3
2. Котляров И.Д. Принципы оценки качества научных журналов // Образование и наука. 2010. № 8 (76). С. 4-19.
3. Третьякова О.В. Рейтинг научных журналов экономических институтов РАН // Экономические и социальные перемены: факты, тенденции, прогноз. 2015. № 5 (41). С. 159-172. Б01: 10.15838/ е8с/2015.5.41.11
4. Liner G. H., Amin M. Methods of ranking economics journals. Atlantic Economic Journal, 2004, vol. 32, iss. 2, pp. 140—149. DOI: 10.1007/BF02298831
5. Hawkins R. G., Ritter L. S., Walter I. What economists think of their journals. The Journal of Political Economy, 1973, vol. 81, iss. 4, pp. 1017—1032.
6. Bush W.C., Hamelman P.W., Staaf R.J. A quality index for economics journals. The Review of Economics and Statistics, 1974, vol. 51, iss. 1, pp. 123—125.
7. Liebowitz S.J., Palmer J.P. Assessing the relative impacts of economics journals. Journal of Economic Literature, 1984, iss. 32, pp. 77—88.
8. Laband D., Piette M. The relative impacts of economics journals: 1970—1990. Journal of Economic Literature, 1994, iss. 32, pp. 640—666.
9. Stigler G.J., Stigler S.M., Friedland C. The journals of economics. Journal of Political Economy, 1995, vol. 103, iss. 2, pp. 331—359.
10. Liner G. H. Core journals in jconomics. Economic Inquiry, 2002, vol. 40, iss. 1, pp. 138—145.
11. Bornmann L., Haunschild R. Plots for visualizing paper impact and journal. Scientometrics, 2018, vol. 115, iss. 1, pp. 385—394. DOI: 10.1007/s11192-018-2658-1
12. Glanzel W., Moed H. F. Journal impact measures in bibliometric research. Scientometrics, 2002, vol. 53, iss. 2, pp. 171—193. DOI: 10.1023/A:1014848323806
13. Аукуционек С., Чуркина Г. Экономические журналы в период рыночных реформ // Вопросы экономики. 2002. № 2. С. 130—145.
14. Дежина И. Г., Дашкеев В. В. Есть ли в России ведущие экономисты и кто они? М.: ИЭПП, 2008. 21 с.
15. Муравьев А.А. О научной значимости российских журналов по экономике и смежным дисциплинам // Вопросы экономики. 2013. № 4. С. 130—151.
16. Проект НИУ ВШЭ по экспертному ранжированию российских научных журналов [Электронный ресурс]. М.: Управление академической экспертизы НИУ ВШЭ. 2015. Доступно в: http://www.hse.ru/ academexpert/journals.
17. Рубинштейн А.Я. Российские экономические журналы: табель о рангах // Экономическая наука современной России. 2018. № 1. С. 108—130.
18. Балацкий Е.В., Екимова Н.А. Опыт составления рейтинга российских экономических журналов // Вопросы экономики. 2015. № 8. С. 99—115.
19. Значимость основных российских и международных экономических журналов: сетевой анализ / Ф.Т.Алескеров, Д.Н. Бадгаева, В.В.Писляков, И.А. Стрерлигов, С.В. Швыдун // Журнал новой экономической ассоциации. 2016. № 2 (30). С. 193—205.
20. Субочев А.Н. Насколько различны существующие рейтинги российских научных журналов по экономике и менеджменту и как их объединить // Журнал Новой экономической ассоциации. 2016. № 2(30). С. 181 — 192.
21. Балацкий Е.В., Екимова Н.А. Консенсусный рейтинг российских экономических журналов: идеология и опыт составления // Journal of Institutional Studies. 2018. Т. 10. № 1. С. 93—106. DOI: 10.17835/20766297.2018.10.1.093-106
22. Рубинштейн А.Я. Ранжирование российских экономических журналов: научный метод или «игра в цыфирь»? // Журнал Новой экономической ассоциации. 2016. № 2(30). С. 162—175.
23. Гумеров Р.Р. Вновь о научной значимости российских экономических журналов, или Что стоит за попытками их ранжирования // ЭКО. 2017. № 7. С. 146—161.
24. Merton R. K. The sociology of science: An episodic memoir. The sociology of science in Europe. Carbondale: Southern Illinois Univ. Press, 1977, pp. 3—141.
25. Garfield E. Citation indexing — Its Theory and Application in Science, Technology and Humanities. New York: Wiley, 1979. 274 р.
26. Gilbert G. N. Referencing as persuasion. Social Studies of Science, 1977, vol. 7, iss. 1, pp. 113—122.
27. Martin B.R., Irvine J. Assessing basic research: some partial indicators of scientific progress in radio astronomy. Research policy, 1983, vol. 12, iss. 2, pp. 61—90.
28. Zuckerman H. Citation analysis and the complex problem of intellectual influence. Scientometrics, 1987, vol. 12, iss. 5-6, pp. 329-338.
29. Cole S., Cole J. R. Scientific output and recognition. A study in the operation of the reward system in science. American Sociological Review, 1967, vol. 32, pp. 377-390.
30. Moed H.F. Citation Analysis in Recourse Evaluation // Information Science and Knowledge Management. Springer. 2005. V. 9. 346 p.
31. Garfield E., Sher I. H. New Factors in the Evaluation of Scientific Literature Through Citation Indexing . American Documentation, 1963, vol. 14, iss. 3, pp. 195-201.
32. Bornmann L., Marx W., Gasparyan A. Y., Kitas G. D. Diversity, value and limitations of the journal impact factor and alternative metrics. Rheumatology International, 2012, vol. 32, iss. 7, pp. 1861-1867.
33. Bornmann, L. Scientific peer review. Annual Review of Information Science and Technology, 2011, vol. 45, iss. 1, pp. 199-245. DOI: 10.1002/aris.2011.1440450112
34. Garfield E. Citation indexes to science: a new dimension in documentation through association of ideas. Science, 1955, vol. 122, pp. 108-111.
35. Bornmann L., Haunschild R. Plots for visualizing paper impact and journal impact of single researchers in a single graph // Scientometrics, 2018, vol. 115, iss. 1, pp. 385-394. doi: 10.1007/s11192-018-2658-1
36. Hoeffel C. Journal impact factors (letter). Allergy, 1998, vol. 53, iss. 12, p. 1225.
37. Rousseau R.L. Journal Evaluation: Technical and Practical Issues. Library Trends, 2002, vol. 50, iss. 3, pp. 418-439.
38. Aksnes D.W, Sivertsen G. The effect of highly cited papers on national citation indicators. Scientometrics, 2004, vol. 59, iss. 2, pp. 213-224.
39. Garfield E. The 100 most-cited papers ever and how we select citation classics. Current Contents, 1984, iss. 27, pp. 3-9.
40. Glanzel W., Schubert A. Some facts and figures on highly cited papers in the sciences, 1981-1985. Scientometrics, 1992, vol. 25, iss. 3, pp. 373-380. DOI: 10.1007/BF02016926
41. Tijssen R.J.W., Visser M.S., van Leeuwen T.N. Benchmarking international scientific excellence: Are highly cited research papers an appropriate frame of reference? Scientometrics, 2002, vol. 54, iss. 3, pp. 381-397. DOI: 10.1023/A:1016082432660
42. Коцемир М.Н. Динамика российской и мировой науки сквозь призму международных публикаций // Форсайт. 2012. Т. 6. № 1. С. 38-59.
43. Писляков В.В. Библиометрические индикаторы в ресурсах Tomson Reuters // Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург, 2014. С. 75-109.
44. Третьякова О.В. Экономический журнал в России: проблемы оценки качества // Экономические и социальные перемены: факты, тенденции, прогноз. 2016. № 2 (44). С. 211-224. DOI: 10.15838/ esc.2016.2.44.13
Сведения об авторе
Ольга Валентиновна Третьякова - кандидат филологических наук, ведущий научный сотрудник, заведующий отделом, Вологодский научный центр Российской академии наук (160014,
Российская Федерация, г. Вологда, ул. Горького, д. 56а; е-mail: [email protected])
Tret'yakova O.V.
The Impact Rating of Academic Journals in Economics: Ranking Criteria and Methodology
Abstract. The rapid growth of the number of academic journals has brought to the fore the issue of choosing the leading ones among them. In this paper, we summarize current methodological approaches to the evaluation of scientific journals and substantiate the applicability of bibliometric indicators for assessing the impact of publications in the scientific community. The results of comparative assessment of economic journals affiliated with RAS institutions are presented in the form of impact rating based on the analysis of bibliometric data of the Russian Science Citation Index (RSCI) and reflecting the level of impact of publications included in the RSCI. We substantiate the composition of indicators that enable us to make a comprehensive assessment ofjournals and that are available to be used to verify the results. We prove that the composition of the criteria and the method of their aggregation are suitable for ranking scientific journals; this is confirmed by the fact that the results correlate with the data of other ratings. We rank the journals using multidimensional comparative analysis based on the distance method. We identify the core of ten leading scientific journals in economics that are affiliated with academic organizations. We prove that they are the scientific publications well-known among the academia and they have an impact on the development of economic science in the country. The prospects of the study are seen in the application of the described technique to the ranking of all economic journals. The results can be used by scientific organizations for determining strategic priorities in the development of scientific journals.
Key words: impact rating of scientific journals, economic journal, Russian Academy of Sciences, bibliometric index, journal impact factor, authority of the journal, Russian Science Citation Index (RSCI).
Information about the Author
Ol'ga V. Tret'yakova — Candidate of Sciences (Philology), Leading Researcher, Head of Department, Vologda Research Center of the Russian Academy of Sciences (56A, Gorky Street, Vologda, 160014, Russian Federation; e-mail: [email protected])
Статья поступила 29.03.2018.
