CC BY
29
Вестник Института экономики Российской академии наук
1/2017
ПУБЛИКАЦИИ МОЛОДЫХ УЧЕНЫХ
Н.А. БУРАКОВ
аспирант Института экономики Российской академии наук
О.А. СЛАВИНСКАЯ
аспирантка Института экономики Российской академии наук
РАНЖИРОВАНИЕ ЭКОНОМИЧЕСКИХ ЖУРНАЛОВ: СОЦИОЛОГИЧЕСКИЕ ИЗМЕРЕНИЯ1
Статья посвящена анализу предварительных результатов социологического опроса российских экономистов, проведенного в декабре 2016 года, целью которого было изучение структуры экономического сообщества и разработка инструментария ранжирования экономических журналов. Полученные социально-демографические характеристики респондентов, особенности их научной и преподавательской деятельности, а также отношение к экономическим журналам для представленного списка из 26 изданий, позволяют считать правомерным использование этой информации для построения соответствующего рейтинга. По величине данного рейтинга были построены три упорядоченные группы изданий. В работе представлен также сравнительный анализ ранжирования журналов на основе построенного рейтинга и РИНЦ показателей. На основе панельных данных, был проведен эконометрический анализ зависимости рейтинга изданий от различных факторов, характеризующих представителей экономического сообщества, и получены статистические оценки их влияния на величину рейтинга журналов.
Ключевые слова: социологический опрос, экономическое сообщество, библиометрические показатели, рейтинг, ранжирование журналов, анализ панельных данных.
1БЬ: А11, А14, С33, 123.
Настоящая статья базируется на анализе данных социологического опроса экономистов, приуроченного к проведению третьего Российского экономического конгресса - «РЭК-2016». В качестве основного инструмента социологического опроса был использован популярный
1 В данной работе представлены предварительные результаты совместного исследовательского проекта Института экономики РАН, НИУ «Высшая школа экономики» и «Журнала НЭА», выполняемого научным коллективом в составе: В.С. Автономов (НИУ ВШЭ), Ф.Т. Алескеров (НИУ ВШЭ), Н.А. Бураков (ИЭ РАН), Л.Г. Егорова (НИУ ВШЭ), А.Л. Мячин (НИУ ВШЭ), А.Я. Рубинштейн (ИЭ РАН - руководитель проекта), О.А. Славинская (ИЭ РАН).
на сегодняшний день сервис online-опросов - Google Forms. Для предварительного анализа результатов опроса был сформирован начальный массив социологических данных, состоящий из первых 400 заполненных анкет.
Основными целями данной работы являются: изучение взаимосвязей между различными характеристиками респондентов, их отношения к научным изданиям и формирование гипотез относительно факторов, влияющих на рейтинг российских экономических журналов, определенный на основе измерения общественного мнения. Представленные в статье выводы основываются на неполном массиве собранных данных и являются предварительными, требующими дальнейших исследований.
1. Предпосылки социологических измерений. Ранжирование экономических журналов - относительно новая задача, решение которой должно помочь научному сообществу получить более или менее достоверную информацию о достоинствах журналов, в которых публикуют свои статьи российские экономисты. На сегодняшний день не существует единого общепризнанного рейтинга журналов. Во многом это связано с тем, что составление любого рейтинга является достаточно непростой задачей. Возникновение национальной библиографической базы данных научного цитирования (РИНЦ) трансформировало эту задачу в определение ряда формальных характеристик, основанных на цитировании и послестатейных списках литературы.
При этом основными индикаторами для ранжирования журналов РИНЦ предлагает следующие библиометрические показатели: «... число публикаций, количество цитирований и среднее число цитирований в расчете на одну публикацию, индекс Хирша (h-index), индекс Прайса, индекс Херфиндаля, различные модификации импакт-факто-ров, а также многочисленные комбинации этих индикаторов, включая итеративные процедуры присвоения «престижа», использующие алгоритм PageRank, разработанный создателями Google» [22, с. 162]. Был предложен и сравнительно новый индикатор - Science Index, который представляет собой комбинацию некоторых из вышеназванных библиометрических показателей.
Отметим также появление в новом столетии множества самых разных публикаций, в которых представлены результаты ранжирования журналов на основе именно библиометрической информации [4], [5], [6], [7], [10], [15], [16], [17], [18], [19]. Возникновение этих работ подтолкнуло редакцию Журнала НЭА к проведению специальной дискуссии [22].
Не повторяя довольно обширную критику этого чисто формального подхода [1], [8], [22], можно, вслед за указанными критиками,
и- и- и-
сформулировать главный вывод о том, что библиометрическая информация, в основе которой лежит цитирование, оказалась малопригодной для решения поставленной задачи. Попытки выйти за пределы естественных возможностей наукометрических показателей, описать с их помощью научный авторитет экономических журналов оборачиваются, как правило, чередой смысловых неудач.
Судя по всему, латентно существующее интуитивное знание, формирующее мнение сообщества экономистов о российских экономических журналах вряд ли вообще целесообразно замещать какими-то формальными индикаторами. Более естественной задачей кажется непосредственное измерение мнения экономического сообщества о возможном ранжировании журналов, на подобии того, как это было сделано в нескольких экспериментальных исследованиях [14], [19], [20], [21]. В связи с этим было принято решение о проведении указанного междисциплинарного исследования, одной из целей которого является ранжирование экономических журналов на основе измерения общественного мнения. Дополнительным стимулом для написания этой статьи было желание авторов посмотреть, какое место среди других экономических изданий занимают журналы, издателем которых выступает непосредственно Институт экономики Российской академии наук - «Вестник Института экономики Российской академии наук», а также журналы, одним из учредителей которых является Институт экономики Российской академии наук - «Вопросы экономики» и «Журнал НЭА».
2. Социологический портрет экономического сообщества. Выполненное исследование позволяет определить основные социально-демографические характеристики респондентов, ответивших на вопросы анкеты. Прежде всего следует подчеркнуть, что в анализируемом массиве данных представлены все территории Российской Федерации. Так география проведенного социологического исследования охватывает около 100 городов России и ближнего зарубежья. При этом большинство респондентов, по естественным причинам, представляют город Москву - 48,5% опрошенных, немногим более 7% приходится на город Санкт-Петербург, на остальные города России приходится 44,4% от числа опрошенных (см. табл. 1).
Отметим, что распределение респондентов по полу указывает на почти равное представительство женщин и мужчин: 47% - женщины и 53% - мужчины. Примерно одинаковыми выглядят и основные возрастные группы: 25-34 года - 21,0%, 35-44 года - 21,5%, 45-59 лет -23,3% и 60-70 лет - 24,7%. Такие характеристики, по всей видимости, отличаются от общей структуры населения России. И еще предстоит выяснить, насколько указанные отличия носят объективный характер. В данной же работе мы будем исходить из гипотезы, что подобные социально-демографические характеристики отражают реаль-
Таблица 1
Социально-демографические показатели респондентов
Показатели Значения показателей Доля (% к числу ответивших)
Место жительства Москва 48,5
Санкт-Петербург 7,1
Другие города 44,4
ВСЕГО 100,0
Пол Мужской 53,0
Женский 47,0
ВСЕГО 100,0
Возраст младше 25 лет 3,8
25-34 года 21,0
35-44 года 21,5
45-59 лет 23,3
60-70 лет 24,7
старше 70 лет 5,7
ВСЕГО 100,0
Квалификация Специалист 14,9
Магистр 7,9
Кандидат наук 39,8
РИ.Б 2,8
Доктор наук 34,6
ВСЕГО 100,0
ную половозрастную структуру экономического сообщества. Следует обратить внимание и на высокий уровень квалификации респондентов - около 75% имеет степень кандидата или доктора наук и почти 3% - РИ.Э (см. табл. 1).
Отличает массив респондентов и соответствующее распределение по типам организаций их основного места работы. В наибольшей степени представлены преподаватели университетов (ВУЗов). На их долю приходится 63,3%. Почти четверть респондентов представлена академическими и отраслевыми научными институтами, и около 15% представляют специалисты, занятые экспертно-аналитической работой (см. рис. 1).
Рис. Распределение респондентов по типам организаций основного места работы
Следует обратить особое внимание на тот факт, что почти половина всех респондентов считает наиболее важным для себя видом деятельности академические исследования. При этом только у 23,6% основным местом работы являются исследовательские институты, 63,3% - преподают в университетах, и почти половина опрошенных респондентов занимается академическими исследованиями (см. табл. 2).
Таблица 2
Основной вид деятельности респондентов
Основной вид деятельности Доля (% к числу ответивших)
Академические исследования 46,6
Преподавание в университете (ВУЗе) 29,9
Экспертно-аналитическая работа 19,8
Административная работа 3,8
ИТОГО 100,0
Приведем еще несколько характеристик экономистов, которые мы считаем важными для описания представителей экономического сообщества и их оценки российских экономических журналов. Речь идет о специфических особенностях современной научной деятельности - о владении иностранными языками, чтении зарубежных журналов и понимании важности математического аппарата (см. табл. 3).
Таким образом, в качестве результата этого предварительного анализа можно сформулировать гипотезу о том, что полученный массив социологической информации обеспечивает достаточно представительные оценки по отношению ко всему экономическому сообществу. В числе респондентов, ответивших на вопросы анкеты, присутствуют как академические исследователи, так и преподаватели, экономисты-
Таблица 3
Специальные характеристики респондентов
Особенности научной деятельности Доля респондентов (% к числу ответивших)
Владеющие иностранным языком 95,9
Читающие зарубежные журналы 47,7
Признающие важность математического аппарата 83,6
аналитики и люди, занимающиеся административной работой. При этом респонденты почти равномерно распределены по возрастным группам и представляют различные регионы России. Высокий уровень квалификации и важные особенности занятий респондентов научной деятельностью позволяет говорить о правомерности их участия в ранжировании экономических журналов.
3. Ранжирование экономических журналов. В качестве исходного был использован список журналов RSCI (29 журналов). В дальнейшем из этого списка на основе оценок контрольной группы экспертов были удалены 15 журналов, которые, по их мнению, менее востребованы в экономическом сообществе (см. табл. 4).
К оставшимся 14 журналам из списка RSCI эксперты добавили еще 12 журналов, представляющих различные направления экономической науки, включая междисциплинарные исследования. В результате был получен общий список российских экономических журналов, размещение которого в анкете социологического опроса позволило измерить отношение респондентов к этим журналам. В следующей таблице приведен список этих журналов, ранжированный по показателю Science Index 2015 г. (см. табл. 5).
Принимая во внимание задачи данного исследования и неудовлетворительные результаты использования с этой целью библиометри-ческих показателей, в анкету социологического исследования были включены три специальных вопроса:
Какие отечественные журналы публикуют наиболее интересные для Вас статьи? Поставьте, пожалуйста, соответствующие баллы в таблице (0 - без оценки, 1 - самая низкая оценка, 3 - высшая оценка);
Какие российские журналы, на Ваш взгляд, считаются в экономическом сообществе наиболее престижными? Присвойте, пожалуйста, ранг каждому журналу (0 - без оценки, 1 - самый низкий ранг, 3 -высший ранг);
Оцените, пожалуйста, научный уровень российских журналов (0 - без оценки, 1 - наименьшая оценка; 3 - наивысшая оценка).
Таблица 4
Перечень удаленных журналов, входящих в список RSCI
Terra Economicus Бизнес-информатика
Вестник международных организаций: образование, наука, новая экономика
Вестник Московского университета. Серия 6: Экономика
Вестник Санкт-Петербургского университета. Серия 5. Экономика
Вестник Санкт-Петербургского университета. Серия 8. Менеджмент
Вестник Финансового университета
Деньги и кредит
Инновации
Корпоративные финансы Прикладная информатика Проблемы управления Управленческие науки
Университетское управление: практика и анализ ЭКО
Таблица 5
Рейтинг журналов на основании Science Index, 2015 г.
№ п/п Название журнала Science Index, 2015 г.
1 Вопросы экономики 21,21
2 Форсайт 5,82
3 Российский журнал менеджмента 4,35
4 Мировая экономика и международные отношения 3,88
5 Проблемы прогнозирования 3,55
6 Общество и экономика 3,13
7 Экономическая наука современной России 3,02
8 Общественные науки и современность 2,86
9 Журнал Новой экономической ассоциации 2,72
10 Финансы 2,42
11 Вопросы государственного и муниципального управления 2,38
12 Экономическая политика 2,11
Окончание табл. 5
№ п/п Название журнала Science Index, 2015 г.
13 Проблемы теории и практики управления 1,98
14 Пространственная экономика 1,98
15 Прикладная эконометрика 1,12
16 Журнал экономической теории 1,06
17 Российский экономический журнал 0,99
18 Экономика и математические методы 0,96
19 Вестник Института экономики Российской академии наук 0,59
20 Мир перемен 0,57
21 Экономический журнал ВШЭ 0,47
22 Финансы и бизнес 0,40
23 Журнал институциональной теории -
24 Квантиль (РЭШ) -
25 Научный вестник ИЭП -
26 Экономист -
Ответы на эти вопросы позволяют измерить отношение экономического сообщества к каждому из 26 приведенных журналов. Анализ полученных результатов online-опроса позволяет ранжировать журналы с точки зрения трех оценок респондентов - интереса к публикуемым в них статьях, престижности самих журналов и их научного уровня.
После получения отдельных оценок, соответствующих ответам на указанные три вопроса, был построен агрегированный рейтинг в виде взвешенной суммы этих оценок. Он объединил в себе все три характеристики журналов, придав каждой оценке соответствующий вес: интерес к публикуемым в них статьям - 1,0; престижность самих журналов - 1,2; научный уровень - 1,5. В качестве справочной информации для проведения необходимых сопоставлений были использованы и данные о величине показателя Science Index в 2015 г. (см. табл. 6).
Ранжирование журналов по агрегированному рейтингу позволило разделить всю их совокупность на три группы. В первую группу «Топ 9» вошли девять журналов с наиболее высоким общим рейтингом - выше 2,70. Следует обратить внимание, что в первую пятерку журналов этой группы попали все интересующие нас издания: «Вопросы экономики» (рейтинг 3,22), «Журнал Новой экономической ассоциации» (3,19) и
Таблица 6
Ранжирование российских экономических журналов
Российские экономические журналы ваепсе 1пс1ех, 2015 г. Общий рейтинг журнала В том числе:
оценка научного уровня журнала оценка общественного престижа журнала интерес к публикуемым статьям в журнале
спра-вочно среднее значение среднее значение среднее значение среднее значение
Первая группа журналов
«Вопросы экономики» 21,21 3,22 2,54 2,71 2,43
«Журнал Новой экономической ассоциации» 2,72 3,19 2,56 2,53 2,35
«Экономический журнал ВШЭ» 0,47 3,03 2,39 2,45 2,20
«Вестник Института экономики Российской академии наук» 0,59 2,97 2,37 2,48 2,10
«Экономика и математические методы» 0,96 2,94 2,35 2,42 2,13
«Проблемы прогнозирования» 3,55 2,90 2,33 2,43 2,11
«Мировая экономика и международные отношения» 3,88 2,88 2,31 2,46 2,12
«Прикладная эконометрика» 1,12 2,87 2,31 2,31 2,02
«Российский журнал менеджмента» 4,35 2,77 2,13 2,25 1,96
Вторая группа журналов
«Российский экономический журнал» 0,99 2,69 2,21 2,23 2,03
«Форсайт» 5,82 2,69 2,06 2,24 1,88
«Журнал институциональной теории» - 2,66 2,18 2,13 1,94
Окончание табл. 6
Российские экономические журналы ваепсе 1пс1ех, 2015 г. Общий рейтинг журнала В том числе:
оценка научного уровня журнала оценка общественного престижа журнала интерес к публикуемым статьям в журнале
спра-вочно среднее значение среднее значение среднее значение среднее значение
«Квантиль (РЭШ)» - 2,65 2,21 2,07 1,88
«Экономист» - 2,65 2,01 2,27 1,92
«Пространственная экономика» 1,98 2,64 2,12 2,08 1,96
«Экономическая политика» 2,11 2,63 2,05 2,12 1,91
«Проблемы теории и практики управления» 1,98 2,62 2,05 2,11 1,94
«Экономическая наука современной России» 3,02 2,62 2,07 2,12 1,93
Третья группа журналов
«Финансы» 2,42 2,61 2,06 2,19 1,85
«Журнал экономической теории» 1,06 2,55 2,15 2,06 1,94
«Вопросы государственного и муниципального управления» 2,38 2,47 1,98 2,01 1,75
«Общественные науки и современность» 2,86 2,46 2,05 1,98 1,88
«Общество и экономика» 3,13 2,44 2,03 1,99 1,83
«Научный вестник ИЭП» - 2,36 1,98 1,93 1,67
«Финансы и бизнес» 0,40 2,25 1,82 1,91 1,66
«Мир перемен» 0,57 2,22 1,88 1,77 1,65
£
Сл 'с:
а *
о
Сй
о
р
а а К
ж
С1 §
«Вестник Института экономики Российской академии наук» (рейтинг 2,97). В их компании такие известные журналы, как «Экономический журнал ВШЭ» (3,03), «Экономика и математические методы» (2,94), «Проблемы прогнозирования» (2,90), «Мировая экономика и международные отношения» (2,88), «Прикладная эконометрика» (2,87) и «Российский журнал менеджмента» (2,77).
Вторую группу составляют также известные журналы с рейтингом от 2,62 до 2,70. Третья группа представлена журналами, рейтинг которых не превышает 2,61. Сопоставление полученных рейтингов экономических журналов с уровнем Science Index 2015 г. свидетельствует об отсутствии между ними какой-либо связи, что подтверждает исходную гипотезу об ограниченных возможностях библиометрических показателей (см. табл. 6).
Для последующего сравнения рейтингов, можно выбрать 6 журналов, в которых, по мнению экспертов, наиболее широко представлены статьи по различным экономическим направлениям. К таким журналам, в частности, относятся «Вестник Института экономики Российской академии наук», «Вопросы экономики», «Журнал Новой экономической ассоциации», «Экономическая политика», «Экономическая наука современной России» и «Экономический журнал ВШЭ». Результаты сопоставления указанных журналов для разных групп респондентов, в соответствии с их основным местом работы, приведены в следующей таблице (см. табл. 7).
Преподаватели и экономисты, занятые экспертно-аналитической работой демонстрируют почти идентичные предпочтения в отноше-
Таблица 7
Оценка рейтинга экономических журналов по видам деятельности респондентов (место, рейтинг)
Журнал Преподаватели университетов (ВУЗов) Академические исследователи Эксперты, аналитики
«Вопросы экономики» 1 (3,29) 2 (3,10) 1 (3,14)
«Журнал НЭА» 2 (3,24) 1 (3,11) 2 (3,06)
«Экономический журнал ВШЭ» 3 (3,10) 4 (2,82) 3 (3,04)
«Вестник Института экономики РАН » 4 (3,05) 3 (2,87) 4 (2,88)
«Экономическая политика» 5 (2,68) 6 (2,39) 6 (2,59)
«Экономическая наука современной России» 6 (2,49) 5 (2,77) 5 (2,81)
нии предложенных журналов. Их отличие заключается лишь в перестановке мест журналов «Экономическая политика» и «Экономика современной России». Определенные расхождения в оценках наблюдаются между этими двумя группами респондентов и специалистами, занятыми академическими исследованиями. Так, по мнению академических исследователей, первое место занимает «Журнал Новой экономической ассоциации» (вместо второго) и третье место (вместо четвертого) занимает журнал «Вестник Института экономики Российской академии наук» (см. табл. 7).
В целом же, повторим еще раз, важным результатом предварительного анализа можно считать тот факт, что гипотеза о низкой корреляции рейтингов, основанных на библиометрических показателях, и рейтингов, опирающихся на взгляды экономического сообщества, подтверждается уже на основании этих первых пробных расчетов.
4. Эконометрическая модель рейтингов экономических журналов. Существенной частью выполненного исследования является эконометрический анализ зависимости рейтингов журналов от различных факторов, характеризующих представителей экономического сообщества. Анализ проводился в статистическом пакете ЕУ1ешз по 400 наблюдениям - начальный массив ответов на анкету социологического исследования. При этом для всех рассматриваемых журналов, как уже отмечалось, были рассчитаны четыре вида рейтингов, характеризующих соответственно интерес к публикуемым в журналах статьям (К1), научный уровень журнала (Кб), его общественный престиж (Кр) и агрегированный рейтинг (К), которые в эконометрической модели были использованы в качестве зависимых переменных.
В качестве независимых регрессоров были выбраны 10 различных показателей, которые, на наш взгляд, в наибольшей степени способны повлиять на изменение рейтинга журналов. Все эти показатели были непосредственно получены из ответов респондентов на вопросы той же анкеты. Исходя из этого, были сформированы панельные данные, относящиеся к 400 наблюдениям и 26 журналам, для которых была построена объединенная модель по следующей формуле:
$ =Рсоп, + !*/ Л к = {1...2б} = 10,
где: Щ - рейтинг к-го журнала для г-го наблюдения, ошибки; ек - нормальные и взаимно независимые при фиксированном к, РСОП5{ - константа; х/ - значение /-ой объясняющей переменной для г-го наблюдения; вр - коэффициент при /-ой объясняющей переменной для г-го наблюдения.
Вектор зависимых переменных Щк включает в себя следующие показатели: Щ - рейтинг, характеризующий интерес к публикациям
журналов; Я5 - рейтинг, характеризующий научный уровень журналов; Яр - рейтинг, характеризующий общественный престиж журналов; ЯА - агрегированный рейтинг журналов; X1 - наиболее важный вид деятельности; X 2 - знание экономико-математического аппарата; X 3 - целесообразность бюджетного финансирования журналов; X 4 -степень доверия; X5 - возраст; X6 - отношение к труду; X 7 - место жительства; X8 - чтение зарубежных журналов; X9 - отношения к базам цитирования; X1° - владение иностранным языком.
Результаты проведенных расчетов представлены в табл. 8.
Расчеты показали, что несмотря на невысокий коэффициент Я2, получены вполне приемлемые статистические оценки по всем четырем регрессиям. Проведенный эконометрический анализ показывает, что почти все выбранные переменные оказались значимы. Если проанализировать отдельно модель общего рейтинга ЯА, то незначимой оказывается только переменна X9, то есть отношение респондента к различным базам цитирования не влияет на выставляемую им оценку журнала. Переменные X5 и X10 оказались значимы на 10%-ном уровне, остальные показатели высоко значимы на 1%-ном уровне.
Таблица 8
Результаты оценки модели панельных данных для рейтингов журналов
Объясняющие Зависимые переменные
переменные Я1 Я5 ЯР ЯА
Рсопэ! 1.799 (0.149)*** 2.417 (0.135)*** 2.472 (0.146)*** 1.938 (0.146)***
X1 0.023 (0.015) 0.022 (0.013)* 0.102 (0.015)*** 0.059 (0.015)***
X2 0.051 (0.012)*** 0.062 (0.012)*** 0.028 (0.013)** 0.073 (0.014)***
X3 -0.021 (0.014) 0.009 (0.013) 0.063 (0.014)*** 0.042 (0.016)***
X4 0.021 (0.005)*** 0.039 (0.004)*** 0.037 (0.005)*** 0.038 (0.005)***
X5 0.0004 (0.0008) -0.002 (0.001)** -0.002 (0.001)** 0.001 (0.0008)*
X6 -0.005 (0.028) 0.083 (0.024)*** 0.063 (0.026)** 0.126 (0.028)***
X7 0.079 (0.017)*** 0.021 (0.015) 0.005 (0.017) 0.055 (0.019)***
X8 -0.021 (0.023) -0.054 (0.021)*** 0.014 (0.022) 0.064 (0.024)***
X9 -0.072 (0.025)*** -0.069 (0.023)*** 0.004 (0.025) -0.035 (0.026)
X10 0.045 (0.060) -0.129 (0.054)** -0.214 (0.059)*** -0.098 (0.057)*
Я2 0,02 0,03 0,03 0,05
Число
наблюде- 532 506 509 443
ний
***, **, * - значимость коэффициентов регрессии на уровне 1,5 и 10% соответственно.
Интересным наблюдением является отрицательная зависимость значения рейтинга от владения респондентом иностранным языком. Получается, что если респондент не владеет иностранным языком, то он с большей вероятностью ставит высокие оценки отечественным журналам, чем респонденты, владеющие иностранными языками.
Остальные переменные имеют положительное влияние на уровень рейтинга. Проинтерпретируем их более подробно. Респондент с большей долей вероятности выставляет высокую оценку журналу, если он занимается административной работой, академическими исследованиями. Также, чем больше респондент ценит знание экономико-математического аппарата, тем более высокую оценку он выставляет журналам, где в статьях используются экономико-математические модели. При этом более высокий рейтинг выставляют респонденты, которые читают зарубежные журналы и склоняются к бюджетному финансированию ведущих российских экономических журналов. Значение рейтинга напрямую зависит от возраста респондента, однако, более высокие оценки журналам чаще выставляют респонденты, которые проживают не в Москве и в Санкт-Петербурге.
Отдельно надо отметить влияние степени доверия. Расчеты свидетельствуют, что данный показатель высоко значим для всех четырех моделей и имеет положительную связь со значением рейтинга, то есть, предположительно, чем выше степень доверия к людям у респондента, тем выше вероятность того, что он поставит высокую оценку журналу. Данный вывод является крайне актуальным, что подтверждают многие современные исследования [24], [27], [30], [39], [35], [36], [37], [38], [40].
Также важной характеристикой является отношение к труду [25], [26], [28], [29], [33], [34]. В данной работе фактор отношения к труду оказался высоко значим для трех рейтингов, а на рейтинг журналов по степени интереса к публикуемым в них статьям он влияние не оказывает. Так как коэффициент при переменной является положительным для трех моделей, это может свидетельствовать о том, что если респондент больше ценит усердный труд, то он скорее ставит более высокую оценку журналу, чем респондент, который больше ценит удачу и связи.
5. Вместо заключения. Предварительные результаты социологического исследования подтверждают непростую ситуацию, сложившуюся в научном сообществе. Отсутствие качественных и общепризнанных методов оценки журналов порождает ситуацию, при которой оценка самой научной деятельности исследователей становится трудновыполнимой задачей. И эта задача не может быть решена с помощью чисто библиометрических показателей. Для примера, таблица ниже (см. табл. 9) содержит показатели общего рейтинга, предложенного в данной статье, и библиометрических показателей РИНЦ.
Таблица 9
Рейтинги экономических журналов
Журнал Общий рейтинг 2-х летний импакт-фактор РИНЦ 5-ти летний импакт-фактор РИНЦ Science Index РИНЦ
«Вопросы экономики» 1 (2,602) 1 (6,567) 1 (4,393) 1 (21,215)
«Журнал Новой экономической ассоциации» 2 (2,566) 5 (0,870) 5 (0,868) 3 (2,717)
«Экономический журнал ВШЭ» 3 (2,442) 2 (2,122) 2 (1,538) 6 (0,475)
«Вестник Института экономики Российской академии наук» 4 (2,393) 6 (0,778) 6 (0,432) 5 (0,586)
«Экономическая политика» 5 (2,128) 3 (1,530) 4 (0,994) 4 (2,110)
«Экономическая наука современной России» 6 (2,106) 4 (1,067) 3 (1,078) 2 (3,020)
Не считая журнала «Вопросы экономики», неизменно занимающего первое место при сравнении оценок для одинаковых журналов, полученных различными способами, в большинстве случаев можно наблюдать противоположные позиции в рейтингах. Так, находящиеся не на высоких позициях «Вестник Института экономики Российской академии наук» и «Экономический журнал ВШЭ» рейтинга Science Index РИНЦ, при учете мнения сообщества экономистов, выходят на 4-ю и 3-ю строчки соответственно.
Стоит принимать во внимание тот факт, что исключение уровня научной значимости, престижа и интереса изданий для читателей и авторов из числа опорных факторов при составлении рейтинга, скорее всего, приведет к искажению реальной позиции журнала в научном сообществе. Необходимость считаться с общественным мнением в решении данной задачи не раз описывалась в различных исследованиях, и поэтому использование различных агрегированных показателей возможно лишь в качестве одного из факторов оценки научных публикаций и, как следствие, научной активности в целом.
Важно так же отметить, что при выставлении оценки журналу значительную роль играют определенные характеристики самого респондента, такие как отношение к использованию экономико-математического аппарата, отношение к труду, степень доверия и многие другие. Исходя из этого, высокую оценку российским экономическим журналам, скорее всего, поставят респонденты, положительно оценивающие владение математическим инструментарием, интересующиеся
зарубежными изданиями, предпочитающие усердный труд в качестве основного источника долгосрочного успеха в жизни, а также обладающие более высокой степенью доверия людям. При этом данный тип респондентов считают необходимым поддерживать экономические журналы за счет бюджетных средств.
Одной из не названных в данной статье целей проекта является стратификация экономического сообщества. При этом программа исследования изначально подразумевает возможность разделения респондентов по различным видам структур, основываясь на которых, можно создавать специфицированные рейтинги для определенных групп экономистов. Данное направление работы, вместе с проверкой уже приведенных в статье гипотез, будет основой для продолжения анализа собранных данных социологического исследования.
ЛИТЕРАТУРА
1. Адлер Р., Эвинг Дж., Тейлор П. Статистики цитирования // Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). М.: Изд-во МЦНМО, 2011.
2. Алескеров Ф. Т., Катаева Е.С., Писляков В.В., Якуба В.И. Оценка вклада научных работников методом порогового агрегирования. Электронный научный журнал «Управление большими системами», 2013. Вып. 44. С. 172-189.
3. Алескеров Ф. Т., Писляков В.В., Субочев А.Н., Чистяков А.Г. Построение рейтингов журналов по менеджменту с помощью методов теории коллективноговыбора. М.: Изд. дом Высшей школы экономики, 2011. .
4. Аукуционек С., Чуркина Г. Экономические журналы в период рыночных реформ // Вопросы экономики. 2002. № 2. С. 130-145.
5. Балацкий Е. Рейтинг лучших экономических журналов России // «Неэргодическая экономика». http://nonerg-econ.ru/cat/9/8 (дата обращения 07.10.2015).
6. Балацкий Е., Екимова Н. Опыт составления рейтинга российских экономических журналов // Вопросы экономики. 2015а. № 8. С. 99-115.
7. Балацкий Е., Екимова Н. Проблема манипулирования в системе РИНЦ // Вестник УрФУ. Серия экономика и управление. 2015б. № 2. С. 166-178.
8. Балацкий Е., Юревич М. Гримасы нездоровой конкуренции. Как гонка за формальными показателями исказила научные исследования // Капитал страны. 2016. http://kapital-rus.ru/articles/article/ grimasy_nezdorovoi_konkurencii.
9. В. Радаев, М. Юдкевич, И. Стерлигов. Эффект ранжирования: кому поможет белый список журналов // Академическая среда. 2015.
№ 03(34). С. 1-4.
10. Дежина И.Г., Дашкеев В.В. Есть ли в России ведущие экономисты и кто они? М.: Институт экономики переходного периода, 2008.
11. Дуглас А., Фаулер К. Гнусные цифры // Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). М.: Изд-во МЦНМО, 2011.
12. Иванов А.Б., Петров В.Г. Технология увеличения индекса Хирша и развитие имитационной науки // В защиту науки, бюллетень № 17. Комиссия РАН по борьбе с лженаукой и фальсификацией научных исследований. М., 2016. С. 38-51.
13. Кемпбелл Ф. Бегство от импакт-фактора // Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). М.: Изд-во МЦНМО, 2011.
14. Мальцев А.А. Отличительные черты российского сообщества экономистов: некоторые итоги полевого исследования. Доклад на Третьем Российском экономическом конгрессе, 2016.
15. Муравьев А. А. О российской экономической науке сквозь призму публикаций российских ученых в отечественных и зарубежных журналах за 2000-2009 гг. // Экономический журнал Высшей школы экономики. 2011. Т. 15. № 2. С. 237-264.
16. Муравьев А. О научной значимости российских журналов по экономике и смежным дисциплинам // Вопросы экономики. 2013. № 4. С. 130-151.
17. Писляков В.В. Методы оценки научного знания по показателям цитирования // Социологический журнал. 2007. № 1. С. 128-140.
18. Писляков В.В. Российские журналы по общественным наукам в зарубежных базах данных // Экономический журнал Высшей школы экономики. 2011. Т. 15. № 2. С. 268-269.
19. 19. Проект НИУ ВШЭ по экспертному ранжированию российских научных журналов. http://graat.hse.ru/public/data/brochure.docx (дата обращения 07.10.2015).
20. Рубинштейн А.Я. Журнал НЭА и его читатели: социологический очерк // Журнал НЭА. 2011. № 12. С. 150-160.
21. Рубинштейн А.Я. О Журнале Новой экономической ассоциации и других экономических журналах: итоги опроса читателей // Журнал НЭА. № 3 (23). 2014. С. 175-187.
22. Рубинштейн А.Я. Ранжирование российских экономических журналов: научный метод или «игра в цифирь»? // Журнал НЭА. № 2 (30). 2016. С. 162-175.
23. Федорец О.В. Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга // Управление большими системами.
24. Alesina A., Giuliano P. Culture and Institutions. Journal of Economic Literature, 2015. Vol. 53, No. 4. Р. 898-944 / Перевод О. Волковой // Вопросы экономики. 2016. № 10. С. 82-111.
25. Alesina A., Glaeser E. L. Fighting poverty in the US and Europe: A world of difference. Oxford and N. Y.: Oxford University Press, 2004.
26. Alesina A., Glaeser E. L., Sacerdote B. Why doesn't the United States have a European style welfare state? //Brookings Papers on Economic Activity. 2001. Vol. 2. P. 187-254.
27. Algan Y, Cahuc P. Trust, growth, and well-being: New evidence and policy implications. In: Ph. Aghion, S. N. Durlauf (eds.). Handbook of economic growth, Vol. 2A. Amsterdam and San Diego: Elsevier, North-Holland, 2014. P.49-120.
28. Benabou R., Ok E. A. Social mobility and the demand for redistribution: The Poum hypothesis //Quarterly Journal of Economics. 2001. Vol. 116. No. 2. P. 447-487.
29. Benabou R., Tirole J. Belief in a just world and redistributive politics. Quarterly Journal of Economics. 2006. Vol. 121. No. 2. P. 699 — 746.
30. Bloom N., Sadun R., Van Reenen J. The organization of firms across countries. Quarterly Journal of Economics. 2012. Vol. 127, No. 4. P. 1663-1705.
31. De Solla Price D.J. Citation measures of hard science, soft science, technology, and non-science // Communication among scientists and engineers / Ed. by C.E. Nelson.
32. D.K. Pollak.: Lexington: Heath Lexington Books, 1970. P. 3-22.
33. Di Tella R., Galiant S., Schargrodsky E. The formation of beliefs: Evidence from the allocation of land titles to squatters // Quarterly Journal of Economics. 2007. Vol. 122. No. 1. P. 209-241.
34. Doepke M., Zilibotti F. Occupational choice and the spirit of capitalism. Quarterly Journal of Economics. 2008. Vol. 123, No. 2. P. 747-793.
35. Fukuyama F. Trust: The social virtues and the creation of prosperity. N. Y.: Simon and Schuster, Free Press, 1995.
36. Guiso L., Sapienza P., Zingales L. Cultural biases in economic exchange // Quarterly Journal of Economics. 2009. Vol. 124. No. 3. P. 1095-1131.
37. Guiso L., Sapienza P., Zingales L. The role of social capital in financial development // American Economic Review. 2004. Vol. 94. No. 3. P. 526-556.
38. Guiso L., Sapienza P., Zingales L. Trusting the stock market // Journal of Finance, 2008. Vol. 63. No. 6. P. 2557-2600, 2008b.
39. Knack S., Keefer Ph. Does social capital have an economic payoff? A crosscountry investigation // Quarterly Journal of Economics. 1997. Vol. 112. No. 4. P. 1251-288.
40. La Porta R., Lopez-de-Silanes F., Shleifer A., Vishny R. W. Legal determinants of external finance // Journal of Finance. 1997. Vol. 52. No. 3. P. 1131-1150.
41. Moed H.F. Bibliometric measurement of research performance and Price's theory of differences among the sciences // Scientometrics, 1989. Vol. 15. No. 5-6. P. 473-483.
42. Nisonger T.E. JASIS and library and information science journal rankings: A review and analysis of the last century // Journal of the American Society for Information Science. 1999. № 50 (11). P. 1004-1019.
43. Rousseau R. Journal Evaluation: Technical and Practical Issues // Library Trends. 2002. Vol. 50, №3. P. 418-439.
44. Schubert A., Glanzel W. Mean response time — A new indicator of journal citation speed with application to physics journals // Czechoslovak Journal of Physics. 1986. Vol. 36. No. 1. P. 121-125.
45. Zwemer R.L. (1970). Identification of Journal Characteristics Useful in Improving Input and Output of a Retrieval System // Federation Proceedings. 29. P. 1595-1604.
N.A. BURAKOV
graduate student of the Institute of economics of the Russian academy of sciences, Moscow, Russia
[email protected] OA. SLAVINSKAYA
graduate student of the Institute of economics of the Russian academy of sciences, Moscow, Russia
RANKING OF ECONOMIC JOURNALS: SOCIOLOGICAL MEASUREMENT The paper is devoted to the analysis of preliminary results of the sociological survey of the Russian economists conducted in December, 2016 which purpose was a studying of structure of economic community and development of tools of ranging of economic journals. The received social and demographic characteristics of respondents, features of their scientific and teaching activities as well as the relation to economic journals for the provided list from 26 editions, allow considering lawful use of this information for creation of the corresponding rating. In size of this rating three ordered groups of editions were constructed. Besides, the comparative analysis of ranging of magazines on the basis of the constructed rating and RINTs of indicators is provided in the paper. On the basis of panel data, the econometric analysis of dependence of rating of editions on various factors characterizing representatives of economic community was carried out and statistical estimates of their influence on the size of rating of magazines are received.
Keywords: sociological survey, the economic community, bibliometric indicators, ranking, ranking of journals, analysis of panel data. JEL: A11, A14, C33, I23.
