CC BY
50
РОССИЙСКИЕ
ЭКОНОМИЧЕСКИЕ ЖУРНАЛЫ: ТАБЕЛЬ О РАНГАХ1
А.Я. Рубинштейн
Настоящая статья посвящена описанию результатов первой части исследовательского проекта «Стратификация научного сообщества экономистов и ранжирование экономических журналов», разрабатываемого временным научным коллективом сотрудников Института экономики РАН и Национального исследовательского университета «Высшая школа экономики» в сотрудничестве с Новой экономической ассоциацией. Информационной базой исследования послужили социологические опросы экономистов - участников Третьего российского экономического конгресса «РЭК-2016» (декабрь 2016), Московского экономического форума «МЭФ-2017» (март 2017) и XVIII Апрельской международной научной конференции по проблемам развития экономики и общества (апрель 2017). В данной работе предложен принципиально новый универсальный алгоритм ранжирования анализируемых изданий на основе социологических измерений мнений сообщества экономистов. Созданный алгоритм представляет собой комбинированное и взаимосвязанное решение трех теоретических задач: 1) выявление с использованием метода главных компонент весовой функции агрегирования частных рейтингов, отражающей скрытые соотношения между
© Рубинштейн А.Я., 2018 г.
Рубинштейн Александр Яковлевич, д.филос.н., профессор, заслуженный деятель науки РФ, руководитель научного направления «Теоретическая экономика» Института экономики РАН, Москва, arubin@aha.ru; tizina@mail.ru
1 Автор считает приятным долгом выразить свою благодарность В.М. Полтеровичу, Л.Н. Слуцки-ну, В.С. Автономову, Ф.Т. Алескерову, М.Ю. Голов-нину, Е.Т.Гурвичу, Н.Е.Тихоновой за предварительное обсуждение работы, высказанные замечания и ценные рекомендации, позволившие улучшить ее содержание и устранить ряд допущенных неточностей.
измеряемыми характеристиками журналов; 2) построение итеративной процедуры определения внутри всей совокупности опрашиваемых специалистов некоторого подмножества экспертов, отвечающих заданным требованиям, и определение с помощью их оценок базового (агрегированного) рейтинга для каждого журнала; 3) выделение на основе Г-критерия для парных выборок статистически неотличающихся рейтингов изданий и последующего определения с использованием кластерного анализа однородных групп журналов с близкими значениями базового рейтинга внутри каждой группы и значимыми различиями между ними. Представлены результаты социологического опроса научного сообщества экономистов, выявлена его структура, и доказано отсутствие статистически значимой связи между библиометрическими показателями РИНЦ и оценками журналов, полученными на основе измерения общественного мнения. Главным итогом выполненного исследования является методологическое и инструментальное обоснование ранжирования российских экономических журналов и выделение на его основе пяти категорий периодических изданий.
Ключевые слова: экономическое сообщество, экономические журналы, рейтинги журналов, ранжирование журналов, библиометрические показатели, социологический опрос, экспертные оценки, многомерный статистический анализ, журнальные кластеры. JEL: A11, A12, A14, I23, I28.
ВВЕДЕНИЕ
Эта статья продолжает исследования, посвященные проблемам ранжирования российских экономических журналов (Рубинштейн, 2011, 2014, 2016), и представляет собой первую часть нового проекта, разрабатываемого совместно сотрудниками Института экономики РАН, Национального исследовательского университета «Высшая школа экономики» под эгидой Новой экономической ассоциации: В.С. Автономов (НИУ ВШЭ), Ф.Т. Алескеров (НИУ ВШЭ), Н.А. Бураков (ИЭ РАН), Л.Г. Егорова (НИУ ВШЭ), А.Л. Мя-чин (НИУ ВШЭ), О.А. Славинская (ИЭ РАН),
А.Я. Рубинштейн (ИЭ РАН, руководитель исследования).
Замысел данного проекта, основанного на непосредственном измерении общественного мнения, возник как реакция на появившееся в последние годы множество различных публикаций, в которых представлены попытки ранжирования журналов и экономистов с использованием библиометрической информации (Аукуционек, Чуркина, 2002; Дежина, Дашкеев, 2008; Писляков, 2007, 2011; Федо-рец, 2009; Муравьев, 2011, 2013; Балацкий, 2015; Балацкий, Екимова, 2015а, 2015б, 2015в; Третьякова, 2015; Шумилов, Балацкий, 2017).
Не повторяя критику этого формализованного подхода (Адлер, Эвинг, Тейлор, 2011; Дуглас, Фаулер, 2011; Кемпбелл, 2011; Рубинштейн, 2016; Балацкий, Юревич, 2016; Молини, Боденхаузен, 2017), сформулирую исходное положение исследования: библиоме-трическая информация, в основе которой лежит феномен цитирования, создает весьма ограниченные возможности ее применения. Известные попытки выйти за пределы естественных ограничений использования наукометрических показателей, например составление с их помощью списков лучших авторов или описание научной значимости статей и авторитета журналов, оборачиваются, как правило, чередой несуразиц.
Предварительные результаты данного проекта были представлены на круглом столе Апрельской конференции НИУ ВШЭ (13 апреля 2017) и расширенном заседании Ученого совета ИЭ РАН (15 июня 2017), где наряду с положительными оценками предложенного подхода прозвучала и иная точка зрения. Согласно этой позиции единственным стратегически оправданным направлением исследований ранжирования журналов является применение библиометрической информации. Более того, было высказано суждение, что экспертные оценки используются только потому, что пока нет теории, которая бы однозначно определяла, какой журнал лучший. При создании такой теории появятся и соответствующие измерители. В этом смысле би-
блиометрические показатели - это реальные шаги в данном направлении.
Указанный вывод представляется мне глубоко ошибочным. Дело в том, что такой теории не может быть в принципе. Категории «лучший» или «худший» журнал - ценностные суждения, которые не являются истинными или ложными сами по себе. Эти ценностные суждения всегда определяются согласием людей (Блауг, 2004, с. 191-193). Выяснение же согласованных оценок требует соответствующих измерений общественного мнения. Максимум, что можно ожидать от таких теоретических построений, - обосновать методики общественного выбора. Однако здесь возникает главный вопрос: могут ли показатели, основанные на цитировании, служить данной цели? Получение обоснованного ответа на этот принципиальный вопрос - одна из задач исследования.
Нельзя не обратить внимание и на менее радикальное отношение к наукометрии. Так, ряд исследователей считает, что содержащаяся в библиометрических показателях информация о цитировании может оказаться полезной для определения частных характеристик журналов, например для оценок популярности тех или иных изданий в глазах различных групп экономического сообщества. Однако и в этом случае остается вопрос, насколько правомерно измерять популярность журналов библиометрическими показателями.
В этом смысле особую значимость приобретают социологические опросы, позволяющие измерять интуитивные представления экономистов о научном авторитете журналов, формирующие мнение экспертного сообщества, которые вряд ли целесообразно замещать формальными показателями. И, пожалуй, «стратегически оправданным» направлением ранжирования журналов можно назвать лишь измерение общественного мнения, наподобие того, как это было сделано в проекте НИУ ВШЭ (Проект НИУ ВШЭ, 2015)2.
2 См. также (Рубинштейн, 2011, 2014; Мальцев, 2016; Бураков, Славинская, 2017; Рубинштейн, Бураков, Славинская, 2017).
При этом опыт предыдущих исследований указывает на то, что наименее проработанными являются метод агрегирования частных критериев в общий рейтинг журналов и определение группы экспертов, чье мнение является основанием для оценки журналов. В целом же для обоснованного ранжирования экономических журналов, опирающегося на социологические измерения общественного мнения, необходимо найти решение трех теоретических задач:
• определить весовые функции для агрегирования частных рейтингов журналов в их общий, базовый рейтинг;
• сформировать выборки экспертов из общего массива респондентов, чьи оценки следует рассматривать в качестве частных критериев ранжирования журналов;
• выделить однородные группы журналов с близкими значениями базового рейтинга внутри каждой группы и значимыми различиями между группами.
1. ДАННЫЕ
Информационной базой настоящего исследования послужили социологические опросы экономистов - участников Третьего российского экономического конгресса «РЭК-2016» (декабрь 2016), Московского экономического форума «МЭФ-2017» (март 2017) и XVIII Апрельской международной научной конференции по проблемам развития экономики и общества (апрель 2017). Эти опросы проводились с использованием специального сервиса Google Forms на основе единой анкеты, содержащей 30 вопросов. Каждому зарегистрированному участнику указанных научных мероприятий был обеспечен персональный доступ к анкете, направленной на его личную почту интернет-ссылки. В целом на вопросы анкеты ответили 1059 респондентов, в том числе 675 участников «РЭК-2016», 252 участника «МЭФ-2017» и 132 участника
XVIII Апрельской международной научной конференции по проблемам развития экономики и общества.
1.1. Список анализируемых журналов
Специального обсуждения требует вопрос формирования исходного списка анализируемых изданий. Понятно, что все зарегистрированные в РИНЦ экономические журналы, число которых даже с учетом исключения «мусорных изданий» составляет более 1000 наименований, не могут быть включены в опросную анкету. Следует иметь в виду, что слишком большие списки журналов в анкете порождают известные проблемы, связанные с качеством ответов респондентов. И, как свидетельствует практика социологических исследований, перегруженность вопросами, содержащими избыточное число позиций, которые должен оценить респондент, часто приводит к искаженным ответам и (или) к отказам давать необходимые оценки.
В этом смысле библиометрические показатели обладают некоторым преимуществом: они не требуют предварительного отбора изданий и могут быть рассчитаны для всей совокупности журналов, зарегистрированных в РИНЦ. Вместе с тем и библиометрия не может отказаться от определенной выборки журналов. Причем это относится не только к изъятию «мусорных изданий», но и к попыткам выделить так называемое ядро лучших журналов3. Достаточно отметить, что в список RSCI (раздел «Экономика. Экономи-
3 Как известно, в 2014 г. Научная электронная библиотека (НЭБ) и компания Thomson Reuters заключили соглашение о размещении ядра лучших российских журналов из РИНЦ на платформе Web of Science в виде отдельной базы данных Russian Science Citation Index (RSCI). При этом выделение ядра лучших экономических журналов в РИНЦ было проведено на основе субъективных оценок некой экспертной группы во главе с одним из первых проректоров НИУ ВШЭ.
ческие науки»), состоящий из 29 периодических изданий, включено около трети журналов, аффилированных с НИУ ВШЭ. И среди них такие издания, как «Бизнес-информатика» (издатель НИУ ВШЭ), «Вестник международных организаций: образование, наука, новая экономика« (издатель НИУ ВШЭ), «Корпоративные финансы» (издатель НИУ ВШЭ), которые вряд ли можно отнести к лучшим экономическим изданиям. По-видимому, субъективизм и неполноту исходного списка экономических журналов преодолеть в принципе невозможно.
В данном исследовании исходный список журналов был сформирован на основе коррекции списка RSCI (раздел «Экономика. Экономические науки»). Авторы проекта исключили из него 16 изданий, а к оставшимся 13 журналам добавили еще 13, при выборе которых нашли отражение рекомендации «целесообразно рассмотреть», во-первых, журналов экспертного уровня (с публикациями экспертов и для экспертов) и, во-вторых, журналов, обладающих своей аудиторией чи-тателей4.
К первой группе изданий относятся журналы «Квантиль», «Финансы», «Финансы и бизнес», ко второй - «Вопросы государственного и муниципального управления», «Мир перемен», «Проблемы теории и практики управления», «Научный вестник ИЭП», «Общество и экономика», «Экономист». Кроме того, в итоговый список вошли ряд относительно популярных изданий и одна свободная позиция в анкете, позволяющая расширить совокупность анализируемых журналов по усмотрению респондентов (табл. 1).
Результаты опроса показали, что выбор респондентами дополнительных журналов, которые позволили бы расширить исходный список, оказался статистически незначимым. В следующей таблице приведен список изда-
4 Эти рекомендации были сформулированы соответственно Н.Е. Тихоновой и В.М. Полтеровичем в процессе предварительного обсуждения работы.
Таблица 1
Исходный список журналов, включенных в анкету
№ п/п Общий список журналов, включенных в опрос Журналы из списка Я8С1 и добавленные в общий список
1 Вестник Института экономики Добавлен
РАН
2 Вопросы государственного и му- Добавлен
ниципального управления
3 Вопросы экономики Из списка Я8С1
4 Журнал институциональной Из списка Я8С1
теории
5 Журнал новой экономической Из списка Я8С1
ассоциации
6 Журнал экономической теории Добавлен
7 Квантиль (РЭШ) Добавлен
8 Мир перемен Добавлен
9 Мировая экономика и междуна- Из списка Я8С1
родные отношения
10 Научный вестник ИЭП Добавлен
11 Общественные науки и современ- Добавлен
ность
12 Общество и экономика Добавлен
13 Прикладная информатика Из списка Я8С1
14 Прикладная эконометрика Из списка Я8С1
15 Проблемы прогнозирования Из списка Я8С1
16 Проблемы теории и практики Добавлен
управления
17 Российский журнал менеджмента Из списка Я8С1
18 Российский экономический Добавлен
журнал
19 Финансы Добавлен
20 Финансы и бизнес Добавлен
21 Форсайт Из списка Я8С1
22 Экономика и математические Из списка Я8С1
методы
23 Экономист Добавлен
24 Экономическая наука современ- Из списка Я8С1
ной России
25 Экономическая политика Из списка Я8С1
26 Экономический журнал Высшей Из списка Я8С1
школы экономики
27 Другой журнал (напишите какой ) Добавлен
ний, на которые указали более пяти респондентов (табл. 2).
Понятно, что полученные результаты (см. табл. 2) не могли изменить совокупность выбранных изданий. Вместе с тем отмечу, что в рамках уже упомянутого обсуждения на круглом столе Апрельской конференции (13 апреля 2017) было высказано критическое замечание в отношении формирования набора анализируемых журналов. Так, по мнению А. Муравьева, более корректным является подход НИУ ВШЭ (Проект НИУ ВШЭ, 2015), согласно которому респондентам предоставляется возможность не только расширить список анализируемых изданий, но и дать оценку каждому добавленному журналу.
Принимая во внимание важность этого замечания, учет которого позволит на следующих этапах исследования скорректировать список изданий, подчеркну, что рассматриваемая совокупность из 26 экономических журналов по своим количественным параметрам превышает списки изданий, которые были использованы другими авторами5. Так или иначе, но выбранные российские экономические журналы были включены в социологическую анкету, и все результаты относятся только к указанному набору изданий (см. табл. 1).
1.2. Социологическая анкета
Особенности опроса представителей экономического сообщества обусловлены желанием проверить ряд гипотез и решить по-
5 Так, в работе А. Муравьева ранжирован список из 24 ведущих российских журналов, в который входят 10 журналов, отнесенных к категории А, и 14 журналов, отнесенных к категории В (Муравьев, 2013, с. 149). В исследовании Е. Балацкого и Н. Еки-мовой была сформирована группа из 20 российских экономических журналов (Балацкий, Екимова, 2015в, с. 107). В проекте НИУ ВШЭ в финальный список экономических журналов вошли 19 периодических изданий - два журнала категории А2 и 17 журналов категории В (URL: http://www.hse.ru/academexpert/ journals).
Таблица 2
Дополнительный список журналов, выбранных респондентами
№ п/п Дополнительный список журналов Число респондентов, выбравших данный журнал
1 ЭКО 15
2 Финансы и кредит 14
3 Экономический анализ: теория и 14
практика
4 Экономика и предприниматель- 13
ство
5 Аудит и финансовый анализ 8
6 Вопросы статистики 8
7 Национальные интересы: приори- 8
теты и безопасность
8 Регион: экономика и социология 8
9 Мир России 7
10 Проблемы современной эконо- 7
мики
11 Региональная экономика: теория и 7
практика
12 Инновации 6
13 Философия хозяйства 6
14 Экономика региона 6
15 Terra Economicus 5
16 Вестник МГУ. Серия экономика 5
17 Финансовый журнал 5
18 Экономические и социальные 5
перемены: факты, тенденции,
прогноз
19 Экономические науки 5
ставленные задачи. В соответствии с ними построена и социологическая анкета, которая содержит несколько блоков.
Первый блок вопросов связан с измерениями отношения респондентов к выбранным экономическим журналам. Речь идет о количественных характеристиках журналов и оценках частных рейтингов, которые можно вычислить на основе ответов респондентов на соответствующие вопросы анкеты.
Обычно исследователи используют для этого библиометрические характеристики и
(или) экспертные оценки. Среди социологических опросов, измеряющих общественное мнение в отношении экономических журналов, известен ряд попыток определить подобные характеристики. И почти в каждой из них в качестве частных рейтингов рассматриваются два показателя - популярность и научный уровень журналов. Это можно обнаружить в том же проекте НИУ ВШЭ (Проект НИУ ВШЭ, 2015, с. 2) и двух работах Е. Балацкого и Н. Екимовой6.
В данном исследовании предпринята попытка разделить показатель популярности журнала на две отдельные характеристики, отражающие ее различные стороны. Речь идет о сформировавшейся в прежние годы репутации журнала и текущем интересе к его публикациям. Это имеет смысл сделать хотя бы по той причине, что ряд изданий в отличие, например, от «Вопросов экономики» или «Экономики и математических методов» не могут рассчитывать на лидерство по критерию «сложившаяся репутация», поскольку имеют слишком короткую историю. Но с точки зрения текущего интереса к их публикациям такие относительно недавно созданные журналы, как «Прикладная эконометрика» или «Квантиль», вполне могут занимать ведущие позиции. Поэтому мы сочли целесообразным рассматривать престиж журнала,
6 В своем исследовании Е. Балацкий и Н. Екимова (2015) использовали пять частных характеристик: академические стандарты оформления журналов; полнота и сбалансированность би-
блиографии; доступность в интернет-пространстве; репутация журнала у авторов и научный уровень журнала (Балацкий, Екимова, 2015в, с. 104). Отмечу также, что ряд авторов исходит из того, что интерес респондентов к публикациям журнала отождествляется с его репутацией, сформировавшейся в экономическом сообществе. Именно такой подход применен в исследовании Е. Балацкого (2017), где экспертные оценки, характеризующие интерес респондентов к публикациям журналов и их престиж в экономическом сообществе, объединены в общий показатель - «репутация».
сформировавшийся в глазах экономического сообщества, отдельно от текущего интереса экономистов к его публикациям.
В целом мы ограничились измерением трех характеристик журналов, отражающих интерес респондентов к их публикациям (/), престиж в экономическом сообществе (Рк) и научный уровень изданий (Ык), где к - номер журнала в их общем списке. С этой целью в анкету включены три следующих вопроса:
1.1? Какие отечественные журналы публикуют наиболее интересные для Вас статьи? Поставьте, пожалуйста, соответствующие баллы в таблице (0 - без оценки, 1 - самая низкая оценка, 3 - наивысшая оценка).
Р.2. Какие российские журналы, на Ваш взгляд, считаются в экономическом сообществе наиболее престижными? Оцените, пожалуйста, каждый журнал (0 - без оценки, 1 - самый низкая оценка, 3 - наивысшая оценка)
N.3. Оцените, пожалуйста, научный уровень российских журналов (0 - без оценки, 1 - самый низкая оценка, 3 - наивысшая оценка).
Ответы позволяют вычислить частные рейтинги экономических журналов для каждого сегмента (респондентов) и в целом по всему массиву респондентов. Следующие две части анкеты посвящены измерению характеристик самих респондентов, участвующих в социологическом опросе.
Второй блок вопросов обеспечивает проверку одной из начальных гипотез исследования, связанной с предположением о том, что все сообщество российских экономистов делится на три крупные группы и внутри каждой выделяются еще две подгруппы.
Речь идет об экономистах, занятых преимущественно преподавательской деятельностью, академическими исследованиями и экспертно-аналитической работой. И каждую из указанных групп предполагается разбить
7 Буквы обозначают соответствующие вопросы анкеты. Далее эти буквы используются, например, на рис. 1 и 2 и в формулах.
на две подгруппы «традиционных специалистов» - Ordinary, работающих в традициях российской экономической школы, и «продвинутых специалистов» - Advanced, обладающих современными знаниями в области экономики и смежных научных дисциплинах. Проверка данной гипотезы предъявляет соответствующие требования к анкете, ответы на вопросы которой должны позволить измерить характеристики респондентов каждой из шести указанных групп.
С учетом этого в анкете содержатся вопросы, относящиеся к типу организации, где работает респондент (университет (вуз), исследовательский институт, бизнес-структура), к наиболее значимому для него виду деятельности (преподавание, академические исследования и экспертно-аналити-ческая работа), а также к распределению его рабочего времени. Ответы на эти вопросы позволяют выяснить структуру экономического сообщества и определить расчетные значения удельных весов каждого сегмента - «Преподаватели университетов (вузов)», «Академические исследователи» и «Эксперты-аналитики» (табл. 3).
Третий блок содержит вопросы, ответы на которые дают возможность определить выборку респондентов, удовлетворяющую исходно заданным требованиям. В качестве таких требований могут выступать принцип репрезентативности выборки или наличие некоторого подмножества респондентов, которых можно причислить к группе экспертов,
Таблица 3
Гипотетическая структура сообщества экономистов*
Ordinary Advanced
Преподаватели университе-
тов (вузов) 111 112
Академические исследова-
тели 121 122
Эксперты-аналитики 131 132
* l - удельный вес соответствующих групп в экономическом сообществе.
обладающих нужными характеристиками. Соответствующие вопросы, позволяющие выделить группу «продвинутых» специалистов Advanced, собственно и составляют данный блок8.
Таким образом, ответы на вопросы второго и третьего блоков построенной социологической анкеты позволяют проверить исходное предположение и количественно определить расчетную структуру экономического сообщества (см. табл. 3).
2. ЧАСТНЫЕ РЕЙТИНГИ И ВЕСОВАЯ ФУНКЦИЯ
Первым шагом в ранжировании журналов могут стать оценки частных рейтингов, которые нетрудно определить на основе ответов на указанные выше вопросы. Ранги журналов, рассчитанные по каждому частному рейтингу, места, которые они занимают в общем списке, приведены в табл. 4.
Приведенные выше данные свидетельствуют о том, что ранги журналов различаются довольно сильно - в зависимости от используемого показателя их упорядочения. Так, на первое место по критерию общественного престижа вполне ожидаемо вышел журнал «Вопросы экономики». Следует отметить, что практически во всех исследо-
8 В настоящей анкете содержится еще несколько блоков вопросов, относящихся непосредственно к экономическому сообществу, они позволяют определить социально-демографические характеристики респондентов, их отношение к различным библиометрическим показателям и ряд других индикаторов. Полное описание этой анкеты можно найти в работе (Рубинштейн, Бураков, Сла-винская, 2017). Учитывая, что в данной статье представлена только часть результатов выполненного исследования, непосредственно относящихся к ранжированию журналов, некоторые блоки вопросов в статье не представлены.
Таблица 4
Ранги российских экономических журналов
Экономические журналы Ранги на основе измерения общественного мнения
Престиж журнала (Яр) Интерес к журналу (Я1) Научный уровень (ЯК)
Вопросы экономики 1 2 4
Журнал НЭА 2 1 1
Экономический журнал ВШЭ 3 3 2
Российский журнал менеджмента 4 6 7
Мировая экономика и международные отношения 5 11 10
Экономика и математические методы 6 7 6
Прикладная эконометрика 7 4 3
Проблемы прогнозирования 8 9 8
Форсайт 9 12 14
Экономическая политика 10 8 11
Квантиль (РЭШ) 11 5 5
Российский экономический журнал 12 10 17
Вестник Института экономики РАН 13 17 13
Общественные науки и современность 14 18 15
Экономист 15 19 26
Пространственная экономика 16 13 9
Журнал экономической теории 17 14 16
Финансы 18 21 23
Журнал институциональной теории 19 15 12
Экономическая наука современной России 20 16 18
Проблемы теории и практики управления 21 20 19
Общество и экономика 22 25 22
Финансы и бизнес 23 22 25
Мир перемен 24 26 24
Научный вестник ИЭП 25 23 20
Вопросы государственного и муниципального управления 26 24 21
ваниях этот журнал занимает лидирующие позиции.
При этом по критерию научного уровня данный журнал занял только четвертое место, пропустив впереди себя такие издания, как «Журнал НЭА», «Экономический журнал ВШЭ» и «Прикладная эконометрика». Эти же журналы, с некоторой перестановкой, составляют и первую четверку по критерию интереса к публикациям журналов (см. табл. 4).
Даже беглый анализ полученных данных позволяет сформулировать общее утверждение о том, что среди 26 анализируемых изданий существует лидирующая группа журналов, имеющих лучшие рейтинги по всем частным критериям. Так, приведенные данные (см. табл. 4) свидетельствуют, что, по мнению экономического сообщества, первую десятку журналов (с суммарным рангом менее 30) составляют следующие издания: «Журнал
НЭА» (4), «Вопросы экономики» (7), «Экономический журнал ВШЭ» (8), «Российский журнал менеджмента» (12), «Прикладная эконометрика» (13), «Экономика и математические методы» (15), «Квантиль» (18), «Проблемы прогнозирования» (19), «Мировая экономика и международные отношения» (26), «Экономическая политика» (29).
При этом выделенную десятку российских экономических журналов лишь условно можно назвать группой лидирующих изданий. Дело в том, что сумма рангов - только предварительная и весьма приблизительная оценка, содержание которой мало отличается от произвольного агрегирования с равными весами. Корректное же ранжирование журналов, включая определение их ядра, может быть получено только в результате обоснованного определения соответствующей весовой функции.
В общем случае агрегирование частных рейтингов можно представить в виде некой функции от трех переменных F (I; Р; Ы) и определения значений этой функции ^к), которые она принимает для журнала к в зависимости от соответствующих значений частных рейтингов 1к; Рк; Ык. Введя ряд упрощающих предположений о линейности и аддитивности функции F, ее можно представить в виде взвешенной суммы значений частных рейтингов для каждого журнала к9:
9 У этого подхода «...есть серьезное ограничение - необходимость теоретического обоснования возможности суммирования и выбора весов» (Але-скеров, Катаева, Писляков, Якуба, 2013, с. 179).
Fk = а1 Ik + а2 Pk + а3 Nk,
где а ^ а2, а3 - веса соответствующих частных рейтингов. Допустимость такого суммирования можно обосновать однородностью рейтингов I; P; N и их плотной коррелированно-стью (табл. 5).
Выбор же комбинации весов (а1; а2; а3) представляет собой трудную задачу, а предложенные в ряде предыдущих исследований способы их определения нельзя назвать убедительными. Примером такого не всегда оправданного решения является априорное условие равенства весов частных рейтингов, которое соответствует предположению, что они вносят одинаковый вклад в общий рейтинг и ранжирование журналов.
Подобный выбор весовой функции для четырех библиометрических показателей был представлен в работе Е. Балацкого и Н. Еки-мовой, которые на первом этапе агрегирования определяли общий рейтинг с помощью линейной комбинации с равными весами (Ба-лацкий, Екимова, 2015в, с. 103). Основанием другого варианта весовой функции служит также часто применяемая гипотеза о том, что доминирующее влияние на общий рейтинг оказывают показатели научного уровня и общественного престижа журналов. И здесь в качестве примера имеет смысл указать работу тех же авторов, которые в процессе агрегирования экспертных оценок наибольший вес придали научному уровню журналов (Балац-кий, Екимова, 2015в, с. 105).
Принципиальной особенностью настоящего исследования является статистиче-
Таблица 5
Матрица корреляций частных рейтингов
Частные рейтинги Интерес к публикациям журналов Общественный престиж журналов Научный уровень журналов
Интерес к публикациям журналов (I) 1,000 0,885* 0,924*
Общественный престиж журналов (Р) 0,885* 1,000 0,884*
Научный уровень журналов (Ы) 0,924* 0,884* 1,000
* Корреляция (двухсторонняя) значима на 1%-м уровне.
ский подход к определению весовой функции. Предпосылкой его использования послужил полученный в результате социологического опроса большой объем эмпирических данных, образующих своеобразный информационный параллелепипед, содержащий более 82,5 тыс. чисел, каждое из которых может быть представлено тремя координатами: 1) проекцией на ось журналов к [к е (1, 26)], 2) осью частных рейтингов журналов j [(/ е (1, 3)] и 3) осью респондентов, ответивших на вопросы анкеты т [т е (1, 1059)].
Содержательный мотив использования эмпирических данных для определения весовой функции обусловлен возможностями факторного анализа, позволяющего выявить некоторые скрытые соотношения между измеряемыми показателями. В нашем случае речь идет о частных рейтингах, характеризующих интерес респондентов к публикациям журналов (I), их общественный престиж (Р) и научную значимость (Щ. Предложенный подход состоит из двух этапов и основан на применении метода главных компонент для трехмерной матрицы V = [ук }, являющейся аналитическим выражением информационного параллелепипеда, приведенного на рис. 1.
Первый этап. Его содержание - понижение размерности трехмерной матрицы V. На основе указанных данных можно для любого журнала с номером к сформировать по-
к
Рис. 1. Информационный параллелепипед данных социологического опроса
средством сечения трехмерной матрицы V соответствующую двухмерную матрицу
Ук = М} = [1к' Рк' N }
Совокупность таких матриц позволяет создать их пул в результате последовательного расположения друг за другом матриц Ук. Полученная таким образом объединенная матрица Ж = [м/}, где I е (1, М), содержит три столбца, характеризующие частные рейтинги I; Р; N и М строк, где М = 1059 х 26 = 27 534 (рис. 2).
Второй этап. Организованная таким образом матрица Ж = [ М/}, содержащая 27,5 тыс. наблюдений для частных рейтингов I; Р; Ы, позволяет выполнить стандартную операцию «снижения размерности» и статистически выявить главную компоненту G, определив для нее факторные нагрузки частных рейтингов. Обозначим в виде оператора У указанную процедуру «снижения размерности»:
У(м/) = G (а1; а2; а3),
где а1; а2; а3 - факторные нагрузки для частных рейтингов I; Р; N в главной компоненте, определяющие весовую функцию агрегирования. Итоги факторного анализа приведены в следующей таблице (табл. 6).
Для удобства последующих вычислений, связанных с агрегированием частных рейтингов, полученные факторные нагрузки можно представить в нормированном виде: а1 = 0,330; а2 = 0,335; а3 = 0,337.
Рис. 2. Графическое представление двухмерной матрицы Ж
Таблица 6
Весовая функция агрегирования частных рейтингов (результаты факторного анализа)
Факторные нагрузки частных рейтингов Извлечение суммы квадратов нагрузок
I Р N Всего Дисперсия, % Суммарный %
Главная компонента 0,988 0,990 0,992 2,942 91,066 91,066
Вторая компонента 0,148 -0,106 0,061 0,035 8,168 99,234
Третья компонента -0,041 0,001 -0,119 0,023 0,766 100,000
3. ОБ ЭКСПЕРТНОЙ ГРУППЕ
Исходя из задач исследования, посвященного ранжированию экономических журналов, наиболее важной и, пожалуй, методологически сложной является проблема отбора экспертов, чьи оценки можно было бы считать доминантами «интуитивного знания» экономистов о значимости анализируемых научных изданий. Здесь существуют, как минимум, два подхода.
Часто отбор экспертов осуществляется с учетом желания обеспечить репрезентативность выборки с тем, чтобы максимально приблизить полученные результаты к мнению всего экономического сообщества. При этом из-за отсутствия знаний о генеральной совокупности исследователи сталкиваются на данном пути с трудноразрешимыми проблемами и вынуждены пользоваться искусственными, часто субъективными процедурами.
Так, в проекте НИУ ВШЭ отбор экспертов был построен по принципу «снежный ком»10. На первом его этапе координаторами проекта были выбраны эксперты «верхне-
10 Следует отметить, что метод снежного кома уже использовался в экспертном опросе (Дежи-на, Дашкеев, 2008, с. 12): на первой его фазе было выбрано десять экспертов, причем каждый назвал десять лучших российских экономистов; на второй фазе в качестве экспертов выступали экономисты, которые не были экспертами в первом раунде, но по его итогам были названы более двух раз. В результате отобрано 55 ведущих экономистов страны. См. также (Балацкий, Екимова, 2015 а, с. 101).
го уровня», причем каждый из них на втором этапе представил список из 25 кандидатур, послуживший базой для специалистов НИУ ВШЭ, которые отобрали уже конечную группу экспертов (Проект НИУ ВШЭ, 2015, с. 2). Сформированная подобным образом экспертная группа определила общий массив респондентов, у кого в ходе социологического опроса выяснялось отношение к научным журналам. В другой известной работе при построении рейтинга журналов также были использованы оценки экспертов, очень малочисленная группа которых формировалась на основе исключительно личных представлений авторов (Балацкий, Екимова, 2015в, с. 104).
В настоящем исследовании предложен принципиально новый подход, который основан на выделении из общей совокупности респондентов группы «экспертов», отвечающих исходно заданным требованиям. В этом подходе нет стремления обеспечить репрезентативность оценок респондентов по отношению ко всему экономическому сообществу. Условие репрезентативности в данном случае замещается гипотезой о существовании внутри всей совокупности опрашиваемых специалистов некоторого их подмножества, которых можно было бы причислить к группе экспертов, чьи оценки являются основанием для ранжирования журналов. Здесь необходим дополнительный комментарий.
Все дело в той цели, которую ставит перед собой ученый, изучающий общественное мнение в отношении некой совокупности объектов, в данном случае экономических журналов. Для иллюстрации своей позиции
воспользуюсь опытом социологических опросов театральных зрителей. Так, если перед исследователем стоит задача получить представление о художественных достоинствах спектакля, то он, как известно, вынужден ограничиваться измерением мнений театральных критиков и наиболее подготовленной части публики. Бессмысленно спрашивать о художественном уровне спектакля, например, тех зрителей, кто впервые пришел в театр или посещает театры крайне редко.
Близкой мне представляется ситуация, которая складывается и при ранжировании журналов. Здесь также речь должна идти, как отмечалось ранее, о выделении некой группы экспертов, обладающих исходно заданными характеристиками. В данном исследовании статус экспертов присваивается «продвинутым специалистам», образующим группу Advanced, которые, отвечая на вопросы анкеты, указали, что:
• имеют ученую степень кандидата или доктора наук;
• владеют иностранным языком (языками);
• считают важным знание экономико-математического аппарата;
• читают отечественные и зарубежные журналы;
• публикуют собственные статьи в авторитетных российских журналах, которые назовем группой журналов Leaders.
Следует подчеркнуть, что группа журналов Leaders исходно не определена и потому может быть выделена лишь на основе каких-то дополнительных предположений, которые в соответствии с принятой дефиницией влияют и на формирование совокупности экспертов - группы Advanced. Вследствие этого выделение указанной группы респондентов (из общего массива) и журналов (из их общего списка) рассматривается в качестве взаимообусловленного процесса, имеющего итеративный характер.
В качестве начального приближения к группе журналов Leadersj может быть использована вся совокупность анализируемых изданий, что позволяет выделить согласно принятой дефиниции и первое приближение к группе экспертов - Advanced^ На основе ответов респондентов данной группы на вопросы анкеты рассчитываются частные и агрегированный рейтинги, в соответствии с которыми в качестве следующего приближения выбираются издания с наибольшими значениями агрегированного рейтинга - группа журналов Leaders2. Процесс продолжается до тех пор, пока результаты следующей итерации не становятся тождественными результатам предыдущей итерации (рис. 3).
Практическая реализация итеративной процедуры позволяет проанализировать различные возможности начального приближения к группе журналов Leaders. Для целей насто-
Совокупность журналов Leaders,, Группа респондентов Advanced„ Группа респондентов Advanced,
Рейтинги журналов Rr;Rp;RN;R
1
Совокупность журналов Leaders, Группа респондентов Advancedj
2 2 2 2 Рейтинги журналов Rj; Rp ; RN; R , 1
1
Совокупность журналов Leaders2 Группа респондентов Advanced^,
Рейтинги журналов R,; Rp ; RN; R , 1
1
Совокупность журналов Leaders,, Группа респондентов Advanced,,
Рис. 3. Общая схема итеративного алгоритма выделения групп «Advanced» и «Leaders»
ящего исследования были рассмотрены следующие варианты: кроме представленного выше случая в качестве начальной группы Leaders использовались первая десятка из списка журналов, упорядоченных по Science Index, а также первые десятки журналов, упорядоченные по двух- и пятилетнему импакт-факторам. Можно рассматривать и другие варианты, например первые десятки журналов, упорядоченные по пятилетнему индексу Херфиндаля-Хиршмана или времени полужизни статей и т.п.
Результаты исследования показали, что это не имеет особого смысла в силу того, что предложенный итеративный процесс, во-первых, обладает свойством сходимости и, во-вторых, слабо зависит от начального приближения к группе журналов Leaders. Выполненные расчеты, продемонстрировавшие справедливость этого утверждения, обусловили решение двух задач - выделение в экономическом сообществе группы экспертов и вычисление агрегированных рейтингов российских экономических журналов.
В следующих двух таблицах представлены результаты расчетов структуры эконо-
мического сообщества и распределение группы экспертов по трем сегментам - участникам Третьего российского экономического конгресса «РЭК-2016», Московского экономического форума «МЭФ-2017» и XVIII Апрельской международной научной конференции по проблемам развития экономики и общества (табл. 7 и 8).
Приведенные данные свидетельствуют о том, что группа экспертов составляет 13,7% всей совокупности экономистов, ответивших на соответствующие вопросы анкеты. При этом большая их часть - преподаватели университетов (вузов) - 8,7%, и 4,2% приходится на сотрудников академических институтов, менее 1% составляют эксперты-аналитики. Следует отметить также, что в группу экспертов вошел каждый четвертый участник Апрельской конференции, чуть больше, чем каждый шестой участник РЭК, и лишь один из каждых 33 участников МЭФ. Понятно, что эти данные являются весьма содержательными характеристиками всего экономического сообщества и его отдельных сегментов.
Таблица 7
Расчетная структура сообщества российских экономистов, % от общего числа ответивших респондентов
Ordinary Advanced (группа экспертов) Всего
Преподаватели университетов (вузов) 59,9 8,7 68,6
Сотрудники академических институтов 20,5 4,2 24,7
Эксперты-аналитики 5,9 0,8 6,7
Всего 86,3 13,7 100,0
Таблицу 8
Распределение респондентов по группам Ordinary и Advanced и видам опроса,
% от числа ответивших респондентов
Группы респондентов Опрос участников
Вышка-2017 РЭК-2016 МЭФ-2017 Всего
Ordinary 74,5 84,8 96,9 86,3%
Advanced (группа экспертов) 25,5 15,2 3,1 13,7%
Всего 100,0 100,0 100,0 100,0%
4. РАНЖИРОВАНИЕ ЖУРНАЛОВ
На основе оценок экспертов группы Advanced и соответствующей весовой функции (табл. 8) был определен агрегированный рейтинг экономических журналов и выполнено их упорядочение по его величине - определение базового рейтинга. В следующей таблице представлен базовый рейтинг российских экономических журналов (табл. 9).
Даже беглый взгляд на эту таблицу позволяет заметить, что разница между рейтингами изданий, занимающих соседние позиции, во многих случаях оказалась очень незначительной. Это заставляет думать о необходимости следующей процедуры - разбиении всей совокупности анализируемых изданий на ряд однородных кластеров, которые стали бы основой ранжирования журналов.
Здесь также применяются разные методы. Например, в проекте НИУ ВШЭ были исходно заданы следующие кластеры: А1 -высокий уровень, «широкий профиль»; А2 -высокий уровень, «узкий профиль»; B - средний уровень (Проект НИУ ВШЭ, 2015, с. 3). В работе А. Муравьева также выделяются три группы журналов, дифференцированные по величине частных рангов, рассчитанных на основе библиометрических показателей (Муравьев, 2013, с. 142-148).
Е. Балацкий и Н. Екимова в своем исследовании всю совокупность анализируемых изданий разделяют на две группы - «лучшие» и «остальные» журналы, упорядоченные по итоговому баллу, представляющему расчетную комбинацию значений ряда показателей РИНЦ и экспертных оценок (Балацкий, Екимова, 2015б, с. 106-107). Общим недостатком указанных разработок, как и ряда других исследований по данной проблематике, является использование во многом произвольных критериев типологизации журналов11.
11 Заметим, что список RSCI и так называемое ядро экономических журналов представляют собой выделенные из всей совокупности журналы, ин-
Таблица 9 Базовый рейтинг российских экономических журналов
% п/п Журнал Рейтинг
1 Журнал НЭА 2,224
2 Вопросы экономики 2,214
3 Экономический журнал ВШЭ 1,974
4 Прикладная эконометрика 1,768
5 Квантиль (РЭШ) 1,662
6 Экономика и математические методы 1,640
7 Российский журнал менеджмента 1,612
8 Проблемы прогнозирования 1,531
9 Экономическая политика 1,464
10 Форсайт 1,376
11 Пространственная экономика 1,356
12 Мировая экономика и международные отношения 1,347
13 Общественные науки и современность 1,251
14 Вестник Института экономики РАН 1,249
15 Экономическая наука современной России 1,237
16 Российский экономический журнал 1,228
17 Журнал институциональной теории 1,170
18 Журнал экономической теории 1,152
19 Экономист 1,121
20 Финансы» 1,120
21 Проблемы теории и практики управления 1,077
22 Финансы и бизнес 1,059
23 Мир перемен 1,035
24 Общество и экономика 1,019
25 Научный вестник ИЭП 0,994
26 Вопросы государственного и муниципального управления 0,952
В настоящем проекте предпринята попытка определить объективные основания для выделения групп журналов с близкими значениями рейтинга внутри каждой из них.
дексированные в РИНЦ, группы журналов, к которой также следует отнести все критические замечания об отсутствии обоснованных критериев выделения этой группы изданий.
Рассмотрим для этого два последовательных этапа расчетов.
Первый этап. Для определения целесообразного числа однородных групп были подвергнуты соответствующему анализу распределения базового рейтинга на всем множестве респондентов по каждому из анализируемых журналов и в соответствии с Т-критерием для парных выборок сформулирована нулевая гипотеза о «равенстве значений рейтингов». Расчеты свидетельствуют о том, что нулевая гипотеза отвергается на уровне 5% в четырех пограничных случаях, что обусловливает выделение пяти групп журналов, внутри которых значения базовых рейтингов статистически не различаются.
Второй этап. Определив число однородных групп, можно решить главную задачу - ранжирование российских экономических журналов на основе нахождения совокупности журнальных кластеров. С этой целью воспользуемся другим статистическим методом, применив процедуру двухэтап-ного кластерного анализа с мерой расстояния - Log-правдоподобия. Соответствующие вычисления показали, что совокупность анализируемых изданий разбивается на пять статистически однородных кластеров (табл. 10).
Следует обратить внимание еще на одну характеристику журналов, отражающую «знакомство» респондентов с анализируемыми изданиями. Речь идет о том, что, отвечая на соответствующие вопросы анкеты, респондент мог вообще не оценивать конкретный журнал или дать ему нулевую оценку, которую можно трактовать как его недостаточное знакомство с данным журналом.
С учетом этого для каждого журнала и отдельных кластеров был рассчитан размер аудитории читателей в виде доли экспертов, знакомых с данным журналом. Это позволило выделить журналы категории А (средний размер аудитории более 50%) и В (менее 50%). При этом сравнение размеров аудитории читателей журналов с их базовыми рейтингами демонстрирует наличие между ними некото-
рого соответствия. Данный вывод полностью подтверждается при сравнении средних размеров аудитории журналов с их средним рейтингом по каждому выделенному кластеру (см. табл. 10).
Нельзя не отметить и наличие исключений из этого соответствия. Так, «Экономический журнал ВШЭ» по рейтингу занимает 3-е место, а по размеру аудитории - 9-е; журнал «Квантиль» занимает 5-е место по рейтингу и 11-е по размеру аудитории. Обратная ситуация характерна для журнала «Мировая экономика и международные отношения» -по рейтингу он занимает 12-е место, а по размеру аудитории - 7-е, и для «Российского экономического журнала», занимающего соответственно 16-е и 8-е место (см. табл. 10).
Итак, решение задачи ранжирования российских экономических журналов обеспечило выделение пяти журнальных кластеров, соответствующих категориям А1, А2, А3, В1 и В2. При этом каждой категории поставлено в соответствие определенное значение среднего рейтинга, и все пять групп упорядочены по его величине. Наибольший рейтинг - 2,137, он присущ кластеру журналов А1 («Журнал НЭА», «Вопросы экономики» и «Экономический журнал ВШЭ»), наименьший рейтинг - 1,023, характерен для кластера В2 («Проблемы теории и практики управления», «Финансы и бизнес», «Мир перемен», «Общество и экономика», «Научный вестник ИЭП» и «Вопросы государственного и муниципального управления»).
Следует подчеркнуть, что ранжирование журналов, построенное на основе эмпирических данных, полученных в результате социологического опроса, существенно отличается от различных вариантов ранжирования с использованием библиометрических показателей. И природу этих отличий можно объяснить путем проверки еще одной гипотезы данного исследовательского проекта. Речь идет о предположении отсутствия связей между результатами измерения общественного мнения и библиометрическими показателями.
Таблица 10
Кластеры российских экономических журналов и размер аудитории их читателей, % к числу экспертов
% респондентов с не нулевой оценкой журнала Среднее значение по кластеру
№ п/п Журналы Базовый рейтинг Кластеры % респондентов с ненулевой оценкой журналов Рейтинг
1 Журнал НЭА 86,3 2,224
2 Вопросы экономики 90,6 2,214 А1 78,6 2,137
3 Экономический журнал ВШЭ 59,0 1,974
4 Прикладная эконометрика 73,5 1,768
5 6 Квантиль (РЭШ) Экономика и математические методы 58,1 82,1 1,662 1,640 А2 69,4 1,671
7 Российский журнал менеджмента 63,8 1,612
8 Проблемы прогнозирования 69,2 1,531
9 Экономическая политика 59,0 1,464
10 11 Форсайт Пространственная экономика 54,7 49,6 1,376 1,356 А3 58,1 1,432
12 Мировая экономика и международные отношения 61,5 1,347
13 Общественные науки и современность 43,4 1,251
14 Вестник Института экономики РАН 53,8 1,249
15 Экономическая наука современной России 50,4 1,237
16 Российский экономический журнал 59,8 1,228 В1 49,8 1,191
17 Журнал институциональной теории 47,0 1,170
18 Журнал экономической теории 50,4 1,152
19 Экономист 49,6 1,121
20 Финансы 44,3 1,120
21 Проблемы теории и практики управления 47,9 1,077
22 Финансы и бизнес 47,9 1,059
23 Мир перемен 41,0 1,035
24 Общество и экономика 44,4 1,019 В2 45,6 1,023
25 Научный вестник ИЭП 45,3 0,994
26 Вопросы государственного и муниципального управления 47,0 0,952
5. О БИБЛИОМЕТРИЧЕСКИХ ПОКАЗАТЕЛЯХ
Кроме основной задачи - стратификации сообщества экономистов и ранжирования экономических журналов - важной целью ис-
следования является проверка гипотезы об отсутствии значимых связей между рейтингами экономических журналов, полученными в результате измерения общественного мнения, и библиометрическими показателями.
При этом надо исходить из того, что в настоящее время российские исследователи
не могут игнорировать библиометрическую информацию. Адаптируясь к насаждаемой в стране системе управления наукой и высшей школой, где таким показателям отведена главенствующая роль, сотрудники исследовательских институтов и преподаватели университетов (вузов) вынужденно и все в большей степени стали обращать внимание на свои «библиометрические успехи»12. В таких условиях и на фоне развития российской информационной базы цитирования (РИНЦ) важную роль стали играть показатели, непосредственно характеризующие экономические журналы.
Поэтому продолжение обсуждения принципиального вопроса - существуют или отсутствуют связи между рейтингами журналов, отражающими общественное мнение, и библиометрическими показателями13 - является одной из приоритетных задач данного исследования.
Для того чтобы ответить на поставленный вопрос и проверить сформулированную выше гипотезу, можно воспользоваться ранжированием экономических журналов с по-
12 В результате реформы РАН, создания ФАНО и фактического подчинения ему академических институтов главным результатом их научной деятельности, как известно, стало число опубликованных статей по темам государственного задания в журналах, индексированных в РИНЦ или зарубежных изданиях, а также всевозможные «хирши». К сожалению, другие виды научных публикаций, например монографии, сборники научных статей и выступлений на конференциях, ФАНО (а вслед за ним и руководство институтов) не учитывает (!). В сущности, содержательные результаты научных исследований оказались за пределами интересов руководителей ФАНО. Их полностью заменили всевозможные таблицы с количественными показателями, базирующимися в основном на данных РИНЦ.
13 Хочу обратить внимание читателя на обсуждение этой важной проблемы на страницах «Журнала НЭА» в рамках «Горячей темы», состоявшееся в 2016 г. (Журнал НЭА, 2016).
мощью трех РИНЦ-индикаторов, сравнив его с ранжированием на основе рейтингов, полученных в результате измерения общественного мнения. С этой целью рассмотрим ранги журналов по нескольким библиометри-ческим показателям, а также по трем частным и агрегированному рейтингам. Даже поверхностный взгляд на приведенную ниже таблицу позволяет заметить лишь фрагментарные совпадения рангов. Причем данный вывод относится как к рейтингам, полученным на основе измерения общественного мнения, так и к индикаторам РИНЦ, характеризующим анализируемые издания с позиций библиометрии (табл. 11).
Исследование этой матрицы позволяет количественно оценить «близость» ранжирования журналов по различным видам критериев. Рассмотрим в связи с этим индикатор расстояния, измеряемый в виде суммы модулей разности между рангами журналов по показателям РИНЦ и рангом по агрегированному рейтингу, а также рангами, рассчитанными на основе частных рейтингов, и рангом по агрегированному рейтингу:
Ж = 5 ъ\Rkx - Rk\,
где Rkx - ранг журнала к по РИНЦ-индикаторам и частным рейтингам [(1 е (1, 6)]; Rk - ранг журнала к по агрегированному рейтингу; Жх -расстояние между рангами по критерию 1 и рангом по агрегированному рейтингу.
Приведенные в табл. 11 результаты расчетов свидетельствуют о том, что расстояние между рангами по показателям РИНЦ и агрегированному рейтингу примерно в 3-4 раза превосходит расстояние между рангами по частным и агрегированному рейтингами. Иначе говоря, РИНЦ-индикаторы фактически нечувствительны к общественному мнению.
Данные социологического опроса и библиометрическая информация, содержащаяся в РИНЦ, дают возможность проверить указанную гипотезу и чисто статистическим методом. С этой целью были рассчитаны коэффициенты парной корреляции (по Пирсону) между рейтингами журналов и РИНЦ-
Таблица 11
Ранги российских экономических журналов
Ранги на основе рейтингов Ранги на основе РИНЦ-индикаторов
Экономический журналы R RI Rp 5-летний им- Зиепсе !Мех 2-летний им-
пакт-фактор пакт-фактор
Журнал НЭА 1 1 2 1 15 9 17
Вопросы экономики 2 2 1 4 1 1 1
Экономический журнал ВШЭ 3 3 3 2 6 21 5
Прикладная эконометрика 4 4 7 3 18 15 19
Квантиль (РЭШ) 5 5 11 5 23 24 24
Экономика и математические методы 6 7 6 6 16 18 16
Российский журнал менеджмента 7 6 4 7 4 3 7
Проблемы прогнозирования 8 9 8 8 3 5 3
Экономическая политика 9 8 10 11 12 12 8
Форсайт 10 12 9 14 2 2 4
Пространственная экономика 11 13 16 9 7 14 6
Мировая экономика и международные отношения 12 11 5 10 13 4 14
Общественные науки и современность 13 18 14 15 14 8 12
Вестник Института экономики РАН 14 17 13 13 19 19 18
Экономическая наука современной России 15 16 20 18 9 7 13
Российский экономический журнал 16 10 12 17 5 17 2
Журнал институциональной теории 17 15 19 12 22 23 23
Журнал экономической теории 18 14 17 16 17 16 15
Экономист 19 19 15 26 26 26 26
Финансы 20 21 18 23 20 22 21
Проблемы теории и практики управления 21 20 21 19 10 13 9
Финансы и бизнес 22 22 23 25 11 10 11
Мир перемен 23 26 24 24 21 20 20
Общество и экономика 24 25 22 22 25 6 25
Научный вестник ИЭП 25 23 25 20 24 25 22
Вопросы государственного и муниципального управления 26 24 26 21 8 11 10
Сумма модулей разности рангов с рангом R - 40 52 54 146 190 166
Таблица 12
Матрица парных корреляций РИНЦ-индикаторов и рейтингов журналов
Рейтинг 2-летний импакт- 5-летний импакт- Змепсе !Мех
фактор РИНЦ фактор РИНЦ РИНЦ
Оценка интереса к публикациям журналов ^) 0,436* 0,421 0,362
Оценка общественного престижа журналов (RP) 0,465* 0,471* 0,413
Оценка научного уровня журналов ^^ 0,361 0,330 0,297
Агрегированный рейтинг журналов (К) 0,338 0,335 0,316
** Значимость коэффициентов корреляции (двухсторонней) на 1%-м уровне; * на 5%-м уровне.
индикаторами. Результаты этих расчетов приведены в табл. 12.
Этот стандартный статистический анализ полностью подтверждает справедливость гипотезы об отсутствии значимых связей между РИНЦ-индикаторами и рейтингами журналов, основанными на измерении «интуитивного знания», распространенного в экономическом сообществе. Так, расчеты свидетельствуют о значимой на уровне 5%, но очень слабой корреляции двух- и пятилетнего импакт-факторов исключительно с частными рейтингами, характеризующими интерес к публикациям журналов и их общественный престиж.
Примечательно, что рейтинг научного уровня журналов не коррелирует ни с одним библиометрическим индикатором, что подтверждает и другое известное суждение о том, что показатели цитируемости статей и журналов, в которых они опубликованы, имеют весьма ограниченную область применения и не могут измерять ни качество статей, ни научный уровень журналов (Рубинштейн, 2016, с. 163).
Расчеты показывают также, что агрегированный рейтинг журналов, представляющий собой взвешенную сумму частных рейтингов, не коррелирует ни с одним библиометриче-ским индикатором РИНЦ (см. табл. 12).
Таким образом, можно считать доказанной гипотезу об отсутствии значимых связей между рейтингами журналов и библиометри-ческими показателями14. Интересно, что в рамках уже упоминавшегося круглого стола Апрельской конференции (13 апреля 2017), было получено косвенное подтверждение данного вывода. Так, И. Стерлигов привел в своем выступлении несколько «казусных»
14 Корреляционный анализ взаимосвязей би-
блиометрических показателей с рейтингами жур-
налов по отдельным группам позволил установить
наличие таких взаимосвязей лишь для одного из
18 сегментов экономического сообщества - группы «продвинутых» преподавателей, являющихся участниками РЭК-2016.
примеров лидерства ряда малоизвестных экономистов и журналов, обусловленных библиометрическими показателями.
ЗАКЛЮЧЕНИЕ
1. Повторю еще раз: библиометриче-ская информация имеет весьма узкую область применения, ограниченную природой самого феномена цитирования, не позволяющего без очень сильных допущений корректно судить об уровне публикаций и научном авторитете журналов. Дело в том, что категории «лучший» или «худший» журнал, как и в целом любая табель о рангах, - это ценностные суждения, которые в той или иной мере всегда отражают мнение некоторой совокупности их читателей. Именно поэтому представления исследователей о научном авторитете журналов невозможно заместить библиометрическими показателями. Данный вывод подтверждают и расчеты, демонстрирующие отсутствие статистически значимых связей между индикаторами РИНЦ и рейтингами журналов, отражающих общественное мнение.
2. Однако у меня нет оснований утверждать, что библиометрия вообще бесполезна. Вопрос о библиометрических показателях требует специального обсуждения. И главная проблема, которая здесь пока остается нерешенной, заключена в корректном определении области их применения, т.е. в использовании информации о цитировании без необоснованных экстраполяций.
3. В этом контексте следует критически оценить использование в аналитике РИНЦ категории «ядро». Мне кажется, что показатели РИНЦ для «ядра» дважды дезориентируют научную общественность. Во-первых, они дают неточное представление об авторах и журналах из-за того, что список изданий, включенных в базу RSCI (раздел «Экономика. Экономические науки»), по уже указанным причинам является явно субъективным.
Во-вторых, изъятие из анализируемых изданий научных монографий, как справедливо отмечают парижские коллеги, «...чревато опасностями, особенно в области социальных наук, где не учитываемые индексами цитирования монографии часто важнее статей, опубликованных в журналах» (Молини, Боденха-узен, 2017).
4. Результаты выполненного исследования продемонстрировали целесообразность ранжирования журналов на основе измерения общественного мнения. При этом следует особо выделить предложенные алгоритмы и вычислительную программу обработки эмпирических данных, полученных на основе социологического опроса представителей экономического сообщества. Главными составляющими этой программы являются:
• определение на основе методов многомерной статистики весовой функции агрегирования частных рейтингов, отражающих скрытые соотношения между измеряемыми характеристиками журналов;
• итеративный алгоритм выделения внутри всей совокупности опрашиваемых специалистов некоторого подмножества экспертов, отвечающих заданным требованиям, и определение на основе их оценок базового (агрегированного) рейтинга для каждого журнала;
• выделение на основе Т-критерия для парных выборок статистически не отличающихся рейтингов изданий и последующего определения на основе кластерного анализа однородных групп журналов с близкими значениями базового рейтинга внутри каждой из них и значимыми различиями между ними.
Созданная вычислительная программа обработки эмпирических данных, полученных на основе социологического опроса, в некотором смысле является универсальной и может быть использована в ряде исследований, посвященных, например, задачам ранжирования университетов, научных организаций, театров, кредитных организаций и многих других объектов.
5. Одним из результатов исследования является выявленная структура экономиче-
ского сообщества, включающая шесть сегментов. При этом самую большую часть экономистов составляют преподаватели высшей школы 68,6% (59,9% - представители группы Ordinary и 8,7% - представители группы Advanced). Второе место занимают сотрудники научных организаций - 24,7% (20,5% -Ordinary; 4,2% - Advanced). Наименьший сегмент, как и ожидалось, составляют эксперты-аналитики (6,7%), которые также делятся на две подгруппы 5,9% - Ordinary и 0,8% -Advanced. Следует отметить, что группа Advanced в целом составляет около 14% всего массива респондентов.
6. Главным практическим итогом выполненного исследования является методологическое и инструментальное обоснование предложенного ранжирования российских экономических журналов и выделение на его основе пяти категорий периодических изданий: A1, A2, A3, B1, B2.
Список литературы
Адлер Р., Эвинг Дж., Тейлор П. Статистики цитирования // Игра в цифирь, или как теперь оценивают труд ученого (сборник статей о библиоме-трике). М.: МЦНМО, 2011.
Алескеров Ф.Т., Катаева Е.С., Писляков В.В., Яку-ба В.И. Оценка вклада научных работников методом порогового агрегирования // Управление большими системами. 2013. Вып. 44. С. 172-189.
Аукуционек С., Чуркина Г. Экономические журналы в период рыночных реформ // Вопросы экономики. 2002. № 2. С. 130-145.
Балацкий Е. Рейтинг лучших экономических журналов России // Неэргодическая экономика. 2015. URL: http://nonerg-econ.ru/cat/9/8/.
Балацкий Е.В., Екимова Н.А. Проблема манипулирования в системе РИНЦ // Вестник УрФУ. Сер. Экономика и управление. 2015а. Т. 14. № 2. С. 166-178.
Балацкий Е.В., Екимова Н.А. Рейтингование участников российского рынка экономических исследований // Журнал институциональных исследований. 20156. Т. 7. № 3. С. 102-121.
Балацкий Е.В., Екимова Н.А. Опыт составления рейтинга российских экономических журналов // Вопросы экономики. 2015в. № 8. С. 99-115.
Балацкий Е.В., Юревич М.А. Несбалансированность наукометрических РИНЦ-показателей российских экономистов // Журнал НЭА. 2016. № 2 (30). С. 176-180.
Блауг М. Методология экономической науки, или как экономисты объясняют. М.: Вопросы экономики, 2004.
Бураков Н.А., Славинская О.А. Ранжирование экономических журналов: социологические измерения // Вестник ИЭ РАН. 2017. № 1. С. 151-169.
Дежина И.Г., Дашкеев В.В. Есть ли в России ведущие экономисты, и кто они? М.: Институт экономики переходного периода, 2008.
Дуглас А., Фаулер К. Гнусные цифры // Игра в цифирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). М.: МЦНМО, 2011.
Кемпбелл Ф. Бегство от импакт-фактора // Игра в цифирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). М.: МЦНМО, 2011.
Молини А., Боденхаузен Д. Библиометрия как оружие массового цитирования // Вестник Российской академии наук. 2017. Т. 87. № 1. С. 70-77.
Муравьев А.А. О российской экономической науке сквозь призму публикаций российских ученых в отечественных и зарубежных журналах за 2000-2009 гг. // Экономический журнал Высшей школы экономики. 2011. Т. 15. № 2. С. 237-264.
Муравьев А. О научной значимости российских журналов по экономике и смежным дисциплинам // Вопросы экономики. 2013. № 4. С. 130-151.
Писляков В.В. Методы оценки научного знания по показателям цитирования // Социологический журнал. 2007. № 1. С. 128-140.
Писляков В.В. Российские журналы по общественным наукам в зарубежных базах данных // Экономический журнал Высшей школы экономики. 2011. Т.15. № 2. C. 268-269.
Проект НИУ ВШЭ по экспертному ранжированию российских научных журналов. 2015. URL: http://grant.hse.ru/pub1ic/data/brochure.docx.
Рубинштейн А.Я. Журнал НЭА и его читатели: социологический очерк // Журнал НЭА. 2011. № 12. С. 150-160.
Рубинштейн А.Я. О Журнале Новой экономической ассоциации и других экономических журналах: итоги опроса читателей // Журнал НЭА. 2014. № 3 (23). С. 175-187.
Рубинштейн А.Я. Ранжирование российских экономических журналов: научный метод или «игра в цифирь»? // Журнал НЭА. 2016. № 2 (30). С. 162-175.
Рубинштейн А.Я., Бураков Н.А., Славинская О.А. Сообщество экономистов и российские журналы (социологические измерения vs библиометрии). М.: ИЭ РАН, 2017.
Третьякова О.В. Рейтинг научных журналов экономических институтов РАН // Экономические и социальные перемены: факты, тенденции, прогноз. 2015. № 5. C. 159-172.
Федорец О.В. Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга // Управление большими системами. 2009. Вып. 27. С. 12-35.
Шумилов А.В., Балацкий Е.В. Академические рейтинги RePEc: вопросы построения и роль российских участников // Журнал НЭА. 2016. № 4 (32). С. 111-138.
Рукопись поступила в редакцию 30.10.2017 г.
RUSSIAN ECONOMIC JOURNALS: TABLE OF RANKS
A.Y. Rubinshtein
Rubinshtein Aleksandr Y., Institute of Economics Russian
Academy of Sciences, Moscow, Russia, arubin@aha.ru
This paper is devoted to a description of the results of the first part of the research project called «Stratification of the scientific community of economists and ranking of economic journals», developed by a temporary research team of the Institute of Economics of the Russian Academy of Sciences (RAS) and the National Research University «Higher School of Economics» in cooperation with the New Economic Association. The information base of the study was the opinion poll of economists - participants of The Third Russian Economic Congress «REC-2016» (December 2016), of The Moscow Economic Forum «MEF-2017» (March 2017) and of The XVIII April International Scientific Conference on Economic and Social Development (April 2017). In the work, described in this article, a fundamentally new universal ranking algorithm of the analyzed publications is proposed, on the basis of sociological measurements of the opinion of the economists' community. The created algorithm is a combined, interconnected and interrelated solution of three theoretical problems: 1) the identification, using the method of principal components of the weight function of aggregating private ratings, reflecting the hidden relationships between the measured characteristics of the journals; 2) the construction of an iterative procedure for determining a subset of experts within the entire set of interviewed experts, or within the entire totality of interviewed experts, that correspond to the specified requirements, and, using their estimates, determination of the base count (aggregated) rating for each journal; 3) the selection of statistically dissimilar publication ratings, on the basis of the T-test for paired samples, and subsequent determination of homogeneous groups of journals, using a cluster analysis. We mean those journals - concerning close values of the base rating within each group and the significant differences between them.
The results of a sociological survey of the scientific community of economists are presented, its structure is revealed and the absence of a statistically significant connection between the bibliometric indicators of the Russian Science Citation Index (the RSCI) and the estimates of journals, obtained on the basis of measuring of public opinion, is proved. The main result of the completed research is a methodological and an instrumental justification of the ranking of Russian economic journals and choice of the five categories of periodicals, on its basis.
Keywords: economic community, economic journals, magazine ratings, ranking of journals, bibliometric indicators,
sociological survey, expert assessments, multidimensional
statistical analysis, journal clusters.
JEL: All, A12, A14, I23, I28.
References
Adler R., Eving Dzh., Teylor P. (2011). Citation statistics. Playing the digital, or how the work of the scientist now evaluates (A collection of articles on bibliometric). Moscow, MTsNMO (in Russian).
Aleskerov F.T., Kataeva E.S., Pislyakov VV, Yakuba VI. (2013). Assessment of the contribution of scientific workers by the method of threshold aggregation. Large-Scale Systems Control, vol. 44, pp. 172-189 (in Russian).
Aukutsionek S., Churkina G. (2002). Economic journals in the period of market reforms. Voprosy Ekono-miki, no. 2, pp. 130-145 (in Russian).
Balatsky E. (2015). Rating of the best economic journals of Russia. Non-ergodic economics. URL: http:// nonerg-econ.ru/cat/9/8/ (in Russian).
Balatsky E.V, Ekimova N.A. (2015b). Ranking the participants of economic studies market in Russia. Journal of Institutional Studies, vol. 7, no. 3, pp. 102-121 (in Russian).
Balatsky E.V/, Ekimova N.A. (2015a). The problem of manipulation in the RSCI system. Bulletin of Ural Federal University. Series Economics and Management, vol. 14, no. 2, pp. 166-178 (in Russian).
Balatsky E.V, Ekimova N.A. (2015b). The experience of ranking Russian economic journals. Voprosy Ekonomiki, no. 8, pp. 99-115 (in Russian).
Balatsky E.V, Yurevich M.A. (2016). The misalignment of Russian economists' scientometric indicators in RISC. The Journal of the New Economic Association, no. 2 (30), pp. 176-180 (in Russian).
Blaug M. (2004). The methodology of economic science, or how economists explain. Moscow, Voprosy ekonomiki (in Russian).
Burakov N.A., Slavinskaya O.A. (2017). Ranking of economic journals: sociological measurement. Vestnik Instituta Ekonomiki Rossiyskoy Akademii Nauk, no. 1, pp. 151-169 (in Russian).
Dezhina I.G., Dashkeev V.V. (2008). Are there any leading economists in Russia, and who are they?
Moscow, Institut ekonomiki perekhodnogo pe-rioda (in Russian).
Duglas A., Fauler K. (2011). Vile numbers. Playing the digital, or how the work of the scientist now evaluates (a collection of articles on bibliometric). Moscow, MTsNMO (in Russian).
Fedorets O.V (2009). Collective expert examination of scientific journals: Procedure of expert judgments aggregation and rating construction. Large-Scale Systems Control, vol. 27, pp. 12-35 (in Russian).
Kempbell F. (2011). Escape from the impact factor. Playing the digital, or how the work of the scientist now evaluates (a collection of articles on biblio-metric). Moscow, MTsNMO (in Russian).
Molini A., Bodenkhauzen D. (2017). Bibliometry as a weapon of mass quoting. Vestnik Rossiiskoi Aka-demiiNauk, vol. 87, no. 1, pp. 70-77 (in Russian).
Muravyev A. (2013). On scientific value of Russian journals in economics and related fields. Voprosy Ekonomiki, no. 4, pp. 130-151 (in Russian).
Muravyev A.A. (2011). About Russian economics through the prism of publications of Russian scientists in domestic and foreign journals for 20002009. The HSE Economic Journal, vol. 15, no. 2, pp. 237-264 (in Russian).
Pislyakov VV (2007). Methods for assessing scientific knowledge in terms of citation rates. Sotsiolog-icheskiy zhurnal, no. 1, pp. 128-140 (in Russian).
Pislyakov VV (2011). Russian journals in social sciences in foreign databases. The HSE Economic Journal, vol. 15, no. 2, pp. 268-269 (in Russian).
Rubinshteyn A.Ya., Burakov N.A., Slavinskaya O.A. (2017). Community of economists and Russian journals (sociological measurements vs biblio-metrics). Moscow, Institut ekonomiki RAN (in Russian).
Rubinstein A.Ya. (2011). The Journal of the New Economic Association and its readership: A sociological study. The Journal of the New Economic Association, no. 12, pp. 150-160 (in Russian).
Rubinstein A.Ya. (2014). On the Journal of the New Economic Association and other economic journals: Results of a readers' survey. The Journal of the New Economic Association, no. 3 (23), pp. 175187 (in Russian).
Rubinstein A.Ya. (2016). Ranking of Russian economic journals: The scientific method or «numbers
game»? The Journal of the New Economic Association, no. 2 (30), pp. 162-175 (in Russian).
Shumilov A.V, Balatsky E.V (2016). RePEc academic rankings: Construction issues and the role of Russian participants. The Journal of the New Economic Association, no. 4 (32), pp. 111-138.
The HSE project on expert ranking of Russian scientific journals. 2015. URL: http://grant.hse.ru/public/ data/brochure.docx (in Russian).
Tret'yakova Ol'ga V (2015). Ranking of scholarly journals of Economic Institutes of the Russian Academy of Sciences. Economic and Social Changes: Facts, Trends, Forecast, no. 5, pp. 159-172 (in Russian).
Manuscript received 30.10.2017
