CC BY
37
РАКУРС
В.С. АВДОНИН, Е.Ю. МЕЛЕШКИНА*
ПОЛИТИЧЕСКАЯ НАУКА В ЖУРНАЛАХ: АНАЛИЗ ИНСТРУМЕНТОВ И ПОКАЗАТЕЛЕЙ В ИНФОРМАЦИОННЫХ СИСТЕМАХ
Аннотация. В статье рассматриваются наиболее известные системы учета и рейтингования научных журналов по политической науке - российская наукометрическая база данных РИНЦ и международные Web of Science и Scopus - и используемые в них аналитические инструменты и показатели. Анализируются возникающие в связи с применяемыми в них для оценки журналов по политологии инструментами проблемы, влияющие на адекватную оценку этих изданий, и на понимание состояния и тенденций исследований по политической науке в целом, включая содержательные и институциональные аспекты. Предлагаются пути и способы решения некоторых из этих проблем. Авторы отмечают, что институционали-зация политологических исследований проявляется не только в увеличении количества специализированных журналов, но и в использовании наукометрических показателей для их оценки самими исследователями, а также лицами, принимающими решения в сфере управления наукой и высшим образованием. В статье показываются возможности библиометрических и иных показателей, содержащихся в базах данных, и обосновывается их использование в качестве дополнений к импакт-факторам в процессе оценки публикационной активности журналов.
Ключевые слова: журналы по политической науке; рейтинги научных журналов; системы РИНЦ; Scopus; Web of Science; библиометрические показатели; политическая наука в России.
♦ Авдонин Владимир Сергеевич, доктор политических наук, ведущий научный сотрудник, Институт научной информации по общественным наукам (ИНИОН) РАН, e-mail: avdoninvla@mail.ru; Мелешкина Елена Юрьевна, доктор политических наук, главный научный сотрудник, Институт научной информации по общественным наукам (ИНИОН) РАН, e-mail: elenameleshkina@yandex.ru
DOI: 10.31249/poln/2020.01.04
Для цитирования: Авдонин В.С., Мелешкина Е.Ю. Политическая наука в журналах: анализ инструментов и показателей в информационных системах // Политическая наука. - 2020. - № 1. - С. 87-111. - Б01: http://www.doi.org/10.31249/ро1п/2020.01.04
Введение
Прошло около 30 лет с того времени, когда политическая наука была признана как академическая дисциплина в России. За этот период в отечественной политологии появились свои достижения, определились сложности и проблемы, требующие осмысления. В центр подобной саморефлексии целесообразно поставить как содержательные, так и институциональные аспекты развития дисциплины. Они тесно связаны друг с другом, находятся в отношениях взаимной зависимости и характеризуют состояние политической науки. Оба эти аспекта присутствуют в деятельности научных журналов. Журнальные публикации традиционно составляют важнейшую часть всего публикационного массива науки, представляя передний край научных исследований. Статьи являются исходным звеном широкой научной коммуникации и первичной сферой признания сообществом научных результатов [Коммуникация ..., 1976; Научная деятельность ..., 1980]. Критерием эффективности усилий в этом направлении выступают признание и статус журналов в научном сообществе.
Задача оценки состояния политической науки в той части, в которой она представлена в научных журналах, облегчается существованием информационных систем и баз данных, в которых учитываются и индексируются эти журналы. Создание и развитие этих систем расширяет доступ к огромным объемам научной информации, ускоряет исследовательский процесс, способствует быстрому росту научных коммуникаций, а также дает дополнительные возможности для осмысления и оценки процессов, происходящих в современной науке. Анализ показателей научной деятельности, представленных в этих системах, открывает путь к исследованию различных аспектов современной науки, прежде всего коммуникационных и институциональных, но также отчасти и содержательных [Управление ..., 2013].
Однако помимо решения чисто научных и информационных познавательных задач показатели журналов в базах данных могут
использоваться и для других целей. С некоторых пор с их помощью стала осуществляться и «внешняя» административная оценка науки. Включение в систему управления и финансирования науки формальных показателей научной деятельности из информационных систем официально направлено на повышение качества управления наукой, на введение в него своего рода гарантий от влияния внешнего произвола и разного рода частных пристрастий и интересов. В то же время это далеко не всегда так, о чем свидетельствуют продолжающиеся дискуссии о такой модели управления наукой [Иванова, 2011; Новиков, Губко, 2013; Юревич, 2014; Истомин, 2018]. Обсуждаются вопросы о том, насколько формальные показатели в наукометрических базах данных могут быть адекватны природе науки и научной деятельности и, следовательно, в какой мере и как они могут использоваться в практике административного управления и финансирования науки.
Развитие самих информационных систем позволяет иметь в базах данных комплекс индикаторов и индексов и получить на их основе разнообразную картину процессов, происходящих в науке, по крайней мере в какой-то их очень существенной части. Важной проблемой становятся выбор и способы построения показателей и индексов, позволяющие выделять наиболее важные и существенные параметры оценки различных аспектов научной деятельности. И здесь показатели, выбранные для административно-управленческой оценки науки, могут не совпадать (или совпадать лишь частично) с теми, на которые обращают основное внимание сами ученые или занимающиеся исследованием науки науковеды.
В данной статье рассматриваются наиболее известные системы учета и ранжирования научных журналов (в том числе по политической науке) - Российский индекс научного цитирования (РИНЦ), Web of Science и Scopus, а также используемые в них аналитические инструменты и показатели. Анализируются возникающие в связи с применяемыми инструментами учета и оценки журналов по политологии проблемы, влияющие на адекватную оценку этих изданий, и понимание состояния исследований по политической науке в целом. С учетом разработок и дискуссий по этой тематике среди отечественных и зарубежных специалистов [Cozzens, 1989; Moed, 2005; Савинов, 2012; Москалева, 2014; Истомин, Байков, 2015; Григорьева, Зарипова, Кокарев, 2015;
Авдонин, Мелешкина, 2016; Авдонин, Мелешкина, 2019; и др.]1 предлагаются пути и способы решения некоторых из этих проблем.
Принципы и подходы к тематическому учету журналов
по политической науке в информационных системах
Тематический учет научных журналов является одним из важных аспектов формирования массива журнальных публикаций науки. По существу, он задает контуры самого этого массива для той или иной научной области, что определенным образом влияет и на ее самоопределение, и на взаимоотношения с другими областями наук.
Для тематического учета журналов в наукометрических базах данных обычно используются тематические классификаторы научных отраслей, официально принятые органами государственного управления. В РИНЦ это классификатор ГРНТИ (и соответствующие ему классификаторы ВАК и УДК), а в WoS и Scopus -классификатор OECD. Частично эти классификаторы совпадают, но имеют и существенные различия. В целом классификатор ГРНТИ более дробный и включает 90 основных рубрик (кодов классификации)2, в то время как классификатор OECD включает 42 основные рубрики3.
В РИНЦ учет журналов по политической науке осуществляется в рубрике «Политика. Политические науки» (код классификатора 11). В нее чисто информационно входит множество журналов, отечественных и зарубежных, так или иначе присутствующих в электронных базах Национальной электронной библиотеки (НЭБ). Но далеко не все они индексируются, т.е. полноценно обрабатываются и ранжируются в РИНЦ: в него включены лишь те журналы, которые прошли процедуру регистрации в системе в со-
1 Davis P. The emergence of a citation cartel // The Scholarly Kitchen. - 2012. -Mode of access: https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/ (Accessed: 20.11.2019.)
2 Классификатор ГРНТИ. - Режим доступа: http://grnti.ru/ (Дата посещения: 10.11.2019.)
3 Расширенный классификатор OECD: - Режим доступа: https://regnum.ru/uploads/docs/2019/10/15/regnum_file_1571148358362704.pdf (Дата посещения: 10.11.2019.)
ответствии с определенными требованиями1. На 2019 г. в этой рубрике учитывалось 137 отечественных журналов2.
Анализ этих журналов с точки зрения тематической направленности показывает, что многие из них индексируются не только в данной тематической рубрике, но и в других рубриках (по социологии, экономике, истории, праву, управлению и т.д.). При этом значительная часть журналов имеет менее 50% (а некоторые и менее 10%) публикаций по тематике «политика и политические науки», что делает их учет в данной рубрике не вполне обоснованным [Авдонин, Мелешкина, 2019, с. 77]. Такой способ учета, с одной стороны, отражает определенные проблемы развития политической науки в современной России, в том числе связанные с ее статусом в системе социальных наук. С другой стороны, он сам оказывает влияние на этот процесс, в частности, на демаркацию границ сообщества, на становление профессиональных критериев исследований, а также на искажение картины влияния в сообществе профессиональных журналов.
Еще она особенность этой рубрики в учете журналов - ее достаточно общий и расплывчатый характер. Она как бы заранее предполагает, что аналитико-прикладные публикации, близкие по жанру к экспертным мнениям или политической публицистике, и политические исследования, выполненные на основе научных методов, различаются несущественно и могут быть объединены под одной рубрикой. При автоматической классификации в системе это приводит к тому, что в одной рубрике учитываются журналы с публикациями совершенно разных типов. А это, как и в случае с присутствующими в рубрике журналами с иной тематической идентификацией, затрудняет выполнение научными журналами функций по институционализации политической науки.
В международных системах - сходные проблемы учета журналов по политической науке, но в силу ее более определенного институционального профиля выражены менее рельефно.
В Web of Science Core Collection (WoS CC), базирующейся на классификаторе наук OECD, журналы по политической науке
1 Регламент включения журналов в РИНЦ. - Режим доступа: https://e1ibrary.ru/projects/pub1ishers/Reg1.pdf (Дата посещения: 10.11.2019.)
2РИНЦ. - Режим доступа: https://e1ibrary.ru/tit1es.asp (Дата посещения: 10.11.2019.)
учитываются в разделе социальных наук в рубрике Political Science («Политическая наука») (код 05.06.00), которая разбита на три подрубрики: «Политическая наука» (Political Science) (код 05.06. UU), «Международные отношения» (International Relations) (код 05.06. ОЕ), «Государственное управление» (Public Administration) (код 05.06. VM). В подрубрике «Политическая наука» учитываются источники, «связанные с политологией, военными исследованиями, электоральными и законодательными процессами, политической теорией, историей политической науки, сравнительными исследованиями политических систем, а также взаимодействием политики и других областей науки и социальных наук»1.
Наличие этих подрубрик учета журналов создает для инсти-туционализации политической науки определенные преимущества, представляя научному сообществу более структурированную картину массива журнальных публикаций и место отдельных журналов в структуре этого массива. Всего в рубрике «Политическая наука» в Web of Science Core Collection в 2019 г. учитывалось 176 научных журналов2.
Как и в РИНЦ, в этой рубрике WoS CC встречаются журналы с многопрофильной предметно-тематической идентификацией. Но их там значительно меньше. Если в списке топ-10 журналов в РИНЦ в рубрике «Политика и политические науки» в 2018 г. их было шесть, то в топ-10 в Web of Science Core Collection в рубрике «Политическая наука» их всего два (2019). Также их явно меньше и по массиву в целом3.
В Scopus учет журналов по политической науке также базируется на классификаторе OECD, но организован иначе, чем в WoS CC. Прежде всего, они учитываются в основной рубрике Political Science and International Relations («Политическая наука и международные отношения») (на конец 2019 г. более 600 журналов, а в первом квартале - 168)4. Но значительная часть также учитывается и в рубрике Sociology and Political Science («Социология и политическая наука») (на 2019 г. - в рубрике более
1 См.: Clarivate Analytics. - Mode of access: https://mjl.clarivate.com/scope-notes (Accessed: 10.11.2019.)
2 Web of Science. - Mode of access: https://apps.webofknowledge.com (Accessed: 10.11.2019.)
3 Там xe.
4 Scopus. - Mode of access: https://www.scopus.com/ (Accessed: 10.11.2019.)
1100 журналов)1. Особенность такого учета журналов, вероятно, можно объяснить заявленной стратегией системы Scopus, нацеленной на охват максимально широкого круга источников и развитие международной научной коммуникации (в отличие от WoS, который акцентирует стремление к учету преимущественно качественных источников). В связи с этим в рубрике «Политическая наука и международные отношения» заметный приоритет получили журналы по международной тематике (в топ-20 в 2019 г. их 11 -более половины, примерно так же по массиву в целом2). А часть журналов по общим вопросам, внутренней политике, по социально-политической тематике стала учитываться в другой рубрике3.
С точки зрения институционализации академической политической науки принципы учета журналов в Scopus менее благоприятны, чем в Web of Science, больше нацелены на междисциплинарную коммуникацию политической науки. Эти обстоятельства, как будет показано ниже, находят отражение и в инструментах ранжирования журналов, используемых в информационных системах.
Инструменты рейтингов журналов в наукометрических базах данных
В наукометрических базах данных журнальные публикации фиксируются не сами по себе, но с учетом информации о журнале, в котором они опубликованы. Эта информация дает представление о месте и роли отдельных журналов в общем массиве журнальных публикаций данной научной области, т.е., по сути, показывает вклад журнала в выполняемые этим массивом в данной науке функции. Критерием оценки здесь, как уже сказано, является признание журнала (и его вклада в науку) научным сообществом. В информационных системах это призваны отражать рейтинги журналов, в основном базирующиеся на количественных показателях
1 Scopus. - Mode of access: https://www.scopus.com/ (Accessed: 10.11.2019.)
2 Там же.
3 Можно отметить, например, что российский журнал «Полис. Политические исследования» индексируется в рубрике Sociology and Political Science, а такие российские журналы, как «Международные процессы» и «Россия в глобальной политике» (англоязычная версия), относятся к рубрике Political Science and International Relations.
цитируемости публикаций данного журнала за определенный период (импакт-фактор). Предполагается, что большое число цитирований означает и более высокий уровень признания, влияния и вклада журнала в научном сообществе, а малое - наоборот. В отношении такого количественного способа оценки признания и влияния журналов в науке высказывается немало критических соображений [Lariviere, Sugimoto, 2019; Lariviere, Gingras, 2010; Лоуренс, 2011; Арнольд, Фаулер, 2011; Fong, Wilhite, 2017; Cozzens, 1989; и др.]. Тем не менее его применение имеет и собственную положительную аргументацию, и он остается главным инструментом измерения влияния научных журналов, используемым в информационных системах.
В результате применения инструментов ранжирования журналов формируются рейтинги, посредством которых может оцениваться роль каждого журнала в той или иной области науки, его признание в научном сообществе, а иногда от них может зависеть и внешняя, административная оценка деятельности ученых и организаций.
Основным инструментом ранжирования журналов в системе РИНЦ является рейтинг Science Index. Он строится на основе показателя пятилетнего импакт-фактора журнала, который обрабатывается двумя дополнительными инструментами: показателем средней нормы цитирования в отраслях науки и индексом Хер-финдаля по цитирующим журналам1 (дает предпочтение широте дисперсии цитирования в массиве).
Методика расчета интегрального показателя журнала в рейтинге Science Index (вводится с 2011 г.) следующая.
1. Журнал приписывается к одному из десяти направлений по особенностям цитирования (в случае политической науки это направление 8 - социальные науки, «Social sciences»).
1 Индекс Херфиндаля обычно применяется в экономике для оценки степени монополизации рынка. В данном случае он был применен для оценки степени «монополизации» цитирований, т.е. степени цитирования одним журналом (автором, организацией) другого в общем массиве цитирований. Его низкий показатель указывает на слабую «монополию на цитирование», или на широкий круг журналов (авторов, организаций), цитирующих данный журнал (автора, организацию), а высокий - на «сильную монополию», или на узкий круг цитирующих участников. В формуле Science Index индекс Херфиндаля находится в знаменателе, поэтому его рост ведет к коррекции показателя цитируемости журнала в сторону снижения, а уменьшение - в сторону увеличения.
2. С учетом этих особенностей рассчитывается пятилетний импакт-фактор журнала: А / Б, где А - число посчитанных в текущем году цитирований статей журнала за предшествующие пять лет, Б - число статей журнала, опубликованных за этот же период.
3. Полученное число обрабатывается Индексом Херфиндаля (Н1), который учитывает распределение / дисперсию цитирований данного журнала в других журналах, входящих в базу данных системы РИНЦ1.
Предполагалось, что в итоге получается более объективный показатель цитирования журналов по областям науки, учитывающий степень известности журнала на основании «широты» его цитирования в других журналах. Кроме того, этот показатель мог бы компенсировать возникновение так называемых пулов журналов, наращивающих рейтинги за счет взаимного цитирования2.
Изучение влияния этого индекса на рейтинги журналов по политической науке указывает на ряд проблем. В частности, обнаруживается снижение рейтингов ряда известных и авторитетных российских политологических журналов, в том числе академических, при одновременном росте ранее не очень известных изданий. Такой рост происходил во многом за счет изменения, иногда в разы, показателей индекса Херфиндаля, т.е. фактически за счет наращивания «широты» цитирований в базе данных [Авдонин, Ме-лешкина, 2019, с. 73].
Вопрос о широте базы данных РИНЦ не раз дискутировался в научном сообществе. Ее постоянное расширение является несомненным достоинством, но, с другой стороны, возникает проблема границ этого расширения и научного качества включаемых в нее журналов, сборников и других публикаций. РИНЦ предпринимает меры по контролю над расширением базы. Кроме того, с 2015 г. в общей базе журнальных публикаций стало выделяться так называемое ядро РИНЦ. В него включаются наиболее авторитетные и качественные в научном отношении журналы. На сегодня в него
1 Подробное описание см. на сайте РИНЦ. - Режим доступа: http://elibrary.ru/help_title_rating.asp; http://elibrary.ru/help_title_if.asp (Дата посещения: 20.11.2019.)
2 Если, например, некий журнал имел бы 100 цитирований по одному в 100 журналах, то его рейтинг был бы в десять раз больше, чем рейтинг журнала, имевшего те же 100 ссылок, но по десять в десяти журналах.
входят 773 российских журнала по всем направлениям науки, в том числе 20 по направлению «Политика. Политические науки»1.
Сопоставление рейтингов журналов по политической науке по ядру РИНЦ и по рейтингу Science Index (SI) показало заметные отличия, отражающие различие полей цитирования этих групп журналов. Если для группы SI больше характерно «расширение» этого поля, активное включение в базу цитирования новых участников, то для группы ядра РИНЦ важно «качество» цитирования и ориентация на престижные международные базы. Это отражается в заметной «расходимости» рейтингов цитирования - журналы, лидирующие в одном рейтинге, проигрывают в другом, и наоборот. Сходная картина обнаружилась и при сопоставлении журналов по политической науке по рейтингу SI и рейтингу общественной экспертизы, который был введен в РИНЦ с 2015 г. Наблюдается существенная разница между этими рейтингами [Авдонин, Мелеш-кина, 2019, с. 75, 80].
Таким образом, проблемы основного автоматизированного рейтинга журналов РИНЦ пытается компенсировать введением ряда альтернативных инструментов оценки журналов. Тем не менее рейтинг Science Index остается базовым инструментом оценки научных журналов в этой системе.
В Web of Science основным инструментом ранжирования журналов является двухлетний «Импакт-фактор журнала» (JCR IF - JIF). Он ежегодно рассчитывается компанией Clarivate Analytics (до 2016 г. входила в международную корпорацию Thomson Reuters) для формируемой ею базы научных журналов и включается в ежегодный доклад «Journal Citation Reports (JCR)», информационно интегрированный с Wo S. JIF является основным инструментом всех индексов, применяемых в WoS CC. Журналы по политической науке входят в «Индекс цитирования социальных наук» (Social Sciences Citation Index - SSCI), в котором сейчас учитываются около 3,5 тыс. журналов по всем областям социальных наук. Также часть политологических журналов включена в «Индекс цитирования новых источников» (Emerging Sources Citation Index -ESCI)2, введенный с 2015 г. В списке этого индекса сейчас более
1 РИНЦ. - Режим доступа: https://elibrary.ru/titles.asp (Дата посещения: 10.11.2019.)
2 Подробнее об этом см.: [Марусова, 2016]
5,5 тыс. журналов по всем отраслям науки. В него включены и все российские политологические журналы, вошедшие в WoS СС1. Кроме того российские журналы индексируются в WoS и в рамках индекса «Российский индекс научного цитирования» (Russian Science Citation Index - RSCI)2.
Расчет импакт-фактора JIF (JCR IF) осуществляется так же, как в РИНЦ (в числителе - число цитирований журнала за истекший год, в знаменателе - число статей, опубликованных в журнале за два предшествующих ему года). Основное отличие в том, что в нем учитываются только цитирования опубликованных в журнале исследовательских статей (категории IMRAD3), обзорных статей и «протоколов» (научных сообщений и обсуждений). Также в WoS СС индекс JIF дополняется расчетом для журналов таких «индексов влияния», как Eigenfactor (EF) и Article Influence (AI). Оба этих индекса взаимосвязаны - EF представляет собой ненормированный индекс, показывающий «вес» цитирований журнала во всех журналах данной области, а AI - его нормированную версию, показывающую, каков средний «вес» цитирования данного журнала по сравнению со средним весом цитирования из всех журналов. Средний вес цитирования берется за 1. Показатель AI 2,6 означает, что цитирование статьи из данного журнала «весит» в 2,6 раза больше, чем среднее цитирование по всем журналам, а AI 0,5 означает, что «вес» цитирования статьи из журнала наполовину меньше, чем среднее цитирование по всем журналам.
1 По данным РИНЦ, на 2019 г. там насчитывается 13 политологических журналов. См.: РИНЦ. - Режим доступа: https://elibrary.ru/titles.asp (Дата посещения: 10.11.2019.) Определенную роль в их включении в индекс ESCI играли стимулирующие гранты Минобра (оператор - НЭИКОН) по поддержке вхождения российских научных журалов в международные наукометрические базы данных. (Подробнее см.: Сайт НЭИКОН. - Режим доступа: https://conf.neicon.ru/index.php/ science/domestic0419/pages/view/domestic0419-video (Дата посещения: 10.11.2019.)
2 По данным РИНЦ, на 2019 г. там насчитывается 15 политологических журналов. См.: РИНЦ. - Режим доступа: https://elibrary.ru/titles.asp (Дата посещения: 10.11.2019.)
3 Аббревиатура IMRAD - Introduction, Methods, Results, and Discussion (введение, методы, результаты и обсуждение) означает общую организационную форму написания научной статьи, является наиболее характерной структурой для журнальных статей исследовательского типа.
В системе Scopus основным инструментом является индекс CiteScore1, основанный на трехлетнем импакт-факторе журнала и охватывающий цитирования публикаций всех типов. Сравнение CiteScore и JIF дается в следующей таблице (табл. 1).
Таблица 1
Сравнение индексов оценки журналов, используемых в WoS СС и Scopus
Индекс Параметр JCR IF (JIF) CiteScore
Период оценки (лет) 2 3
База данных JCR/WoS СС Scopus
Число индексируемых журналов (2016) 11 000 22 000
Доступ к индексу Подписчики Все желающие
Оцениваемые документы Статьи, обзоры, протоколы Все публикации
В системе метрик Scopus индекс CiteScore также дополнен индексом SCImago Journal Rank (SJR), призванным компенсировать недостатки классического импакт-фактора. Он, как и Eigenfactor в WoS СС, учитывает влиятельность ссылок через учет «престижности» цитирующего журнала. Ссылки из более престижных и влиятельных (т.е. более цитируемых) в данной отрасли науки журналов «весят» больше, чем из менее престижных.
Он рассчитывается с помощью алгоритма, позволяющего «взвесить» престижность цитирования. Окно цитирования составляет три года, кроме того, невелик процент учета самоцитирования [González-Pereira, Guerrero-Bote, Moya-Anegón, 2010; Guerrero-Bote, Moya-Anegón, 2012]. Для подсчета используется следующий алгоритм. Каждому журналу присваивается 1, которая в дальнейшем пропорционально количеству цитат распределяется между журналами, цитирующими статьи данного журнала. В результате максимальное значение показателя оказывается у самого влиятельного журнала с максимальным количеством цитирований. Цитирование такого журнала весомее, чем цитирование менее престижного журнала, в котором в основном цитируются статьи других изданий, а его статьи цитируются мало. Полученный «пре-
1 Более подробно о CiteScore см.: Elsevier. - Mode of access: https://www.elsevier.com/editors-update/story/journal-metrics/citescore-a-new-metric-to-help-you-choose-the-right-journal (Accessed: 10.11.2019.)
стиж» нормируется на количество опубликованных в журнале материалов.
Еще один показатель, используемый в метриках Скопус, -SNIP (Source Normalized Impact Per Paper) [Moed, 2005]. Его можно перевести как «нормализованная по источникам ссылок цитируе-мость в расчете на одну статью». По смыслу он аналогичен используемой в РИНЦ процедуре предварительного нормирования списков цитирования в различных отраслях науки, что позволяет учитывать различия между ними и корректно сравнивать журналы разных предметно-тематических областей.
Для расчета SNIP потенциал цитирования журнала определяется на основе учета всех журналов, в которых за последние десять лет были процитированы его статьи. Далее вычисляется средняя длина списков литературы в цитирующих статьях без учета ссылок на материалы, не включенные в базу данных, на основе которой и рассчитываются показатели. Таким образом, адекватность определения потенциала цитирования ставится в зависимость от полноты базы данных. Далее трехлетний импакт-фактор делится на потенциал цитирования.
Сравнивая инструменты ранжирования журналов в рассматриваемых наукометрических базах данных, можно констатировать следующее. Существенным общим моментом для всех систем является использование в рейтингах журналов традиционного им-пакт-фактора, модифицированного тем или иным образом. Общим также является стремление компенсировать недостатки его формального применения путем усовершенствования и дополнения систем индексации.
Главные же отличия видятся в том, что в отечественной системе приоритет при ранжировании журналов получает «широта» цитирования в базе данных, в то время как в международных системах акцент сделан на учет престижности и значимости цитирования, определяющих статус и влияние журнала. Следует отметить, что это различие в целом осознается отечественными специалистами, предпринимаются попытки его нивелировать (введение показателей цитирования по ядру РИНЦ и по результатам общественной экспертизы).
Заметные отличия обнаруживаются и между двумя международными системами. В целом принципы учета и инструментарий системы Scopus выглядят менее строгими и определенными,
чем у системы WoS, что, вероятно, связано со стратегическими приоритетами их деятельности. Первая декларирует приоритет развития научной коммуникации, а вторая делает акцент на инсти-туционализации и сохранении традиций науки.
Относительно отечественных журналов по политической науке этот анализ инструментов и приоритетов информационных систем помогает корректнее учитывать рейтинги и влияние журналов и публикаций в научном сообществе, а также лучше оценивать возможности их продвижения в международных информационных системах.
Другие показатели журналов в информационных системах
Помимо импакт-фактора и его вариаций в базах данных содержатся другие важные показатели, которые не применяются непосредственно при составлении основных рейтингов, но могут использоваться для оценки качества публикаций, профессиональной значимости журналов и существенно дополнять картину состояния журнальных публикаций данной области науки в целом. К их числу относят разнообразные показатели объемов публикуемых статей, размеры списков использованной литературы, время сохранения внимания к публикациям журнала, места работы и возраст авторов журнала и т. д.
Одним из них является показатель, который рассчитывается в РИНЦ и называется «время полужизни статей». В системах WoS и Scopus также рассчитываются эти показатели хронологии цитирований под наименованиями «citing half-life» и «cited half-life». Первый из них фиксирует хронологическое распределение ссылок, а второй - «медианный возраст» цитируемых статей журнала. У топовых журналов по политической науке, индексируемых в этих системах, этот возраст статей, как правило, достаточно высок: восемь - десять и более лет.
Е.В. Балацкий и Н.А. Екимова демонстрируют важность этого показателя на примере журнала «Экономические и математические методы» [Балацкий, Екимова, 2015, с. 172]. Они отмечают, что журнал занимал 1-е место по показателю времени полужизни статей журнала, который рассчитывается на основе медианного возраста процитированных статей в текущем году. Этот пока-
затель говорит о том, насколько долго сохраняется интерес к статьям журнала, и косвенно свидетельствует о степени фундаментальности публикуемых в журнале материалов. В то же время по пятилетнему импакт-фактору без самоцитирований этот журнал был лишь на 28-м месте.
Похожую картину можно наблюдать и в отношении журналов, публикующих статьи по теме «Политика. Политические науки». В табл. 2 представлены результаты подсчета времени полужизни статей за 2017 г. и другие важные показатели в системе РИНЦ, свидетельствующие о параметрах опубликованных материалов и политике журналов в отношении авторов.
Таблица 2
Отдельные показатели по журналам ядра РИНЦ, имеющим более 50% публикаций по тематике «Политика.
Политические науки»
Время полужизни Среднее Среднее число Количество
статей, число ссылок в списках авторов
Название журнала процитированных страниц цитируемой за год / число
в текущем году (2017) в статье (2018) литературы (2018) новых авторов (2018)
Полис 10,0 13,9 24 98/38
Мировая экономика и 5,6 9 26 202/76
международные отношения
Вестник МИГИМО- 4,1 17,8 39 98/54
Университета
Полития 6,2 20,5 30 42/17
Сравнительная политика 3,0 11,9 25 65/51
Политическая наука 7,8 17,4 31 51/27
Россия в глобальной политике 4,2 12,3 0 55/25
Вестник Пермского универ- 3,4 14,1 23 44/27
ситета. Политология
Составлено по: https://elibrary.ru/title_profile.asp?id=28034 (Accessed: 20.11.2019.); https://elibrary.ru/title_profile.asp?id=28264 (Accessed: 20.11.2019.); https://elibrary.ru/title_ profile.asp?id=2770 (Accessed: 20.11.2019.)
Из приведенной таблицы видно, что наибольшие показатели времени полужизни статей имеют журналы общеполитологического профиля, в которых, наряду с конъюнктурными, рассматриваются и фундаментальные проблемы науки («Полис», «Политическая наука», «Полития»). Наименьшие показатели у журналов
относительно новых, региональных, а также ориентированных на анализ текущих международных отношений.
Интересными показателями являются объем публикуемых материалов и число ссылок в списках литературы. Многочисленные требования, предъявляемые ныне к журналам международными базами данных, сужают возможности в плане объема публикаций, а жанровые особенности и тематика статей накладывают отпечаток на их объем. Тем не менее в среднем для представления результатов серьезной научной проблемы требуется достаточное количество текста статьи, а для обоснованности ее выводов и исходных посылок - значительный объем ссылок на литературу. По этому показателю журналы по тематике «Политика. Политические науки» неоднородны. В группе журналов, представленных в таблице, «пионеры» по среднему количеству страниц («Полития» -20 страниц) соседствуют с журналами, в которых средняя длина текстов сравнительно мала («Мировая экономика и международные отношения» - девять страниц). Среди этих журналов представлен один, в котором количество ссылок на литературу равняется нолю («Россия в глобальной политике»). Интересный пример в этом отношении также представляет журнал «Власть», в котором среднее число страниц в 2018 г. составляло 6,5, а среднее количество ссылок на литературу - семь. Подобные количественные показатели побуждают задуматься о степени научности опубликованных в данных журналах материалов и, вероятно, должны использоваться при оценке профессионального уровня того или иного издания.
Наконец, соотношение количества авторов к числу новых авторов косвенно характеризует открытость или закрытость в политике журнала. Приведенные в таблице данные не могут рассматриваться как точный диагноз в этом отношении в первую очередь в силу короткого отрезка времени - один год. Однако они позволяют выявить некоторые тенденции на основе разбиения журналов на две группы: опубликовавших работы более 50% новых авторов за год и других.
Повышение роли количественных показателей в системе оценки эффективности научной деятельности ученых, журналов и организаций вызвало расширение притока в базу научных публикаций и рост различных усилий по искусственному увеличению («накрутке») их цитирования. В частности, среди способов манипуляции на рынке научных журналов выделяют «принудительное
цитирование» [Wilhite, Fong, 2012, р. 542-543]. Иногда этот механизм включает более одного журнала, а издатели организуют «картель цитирования» с перекрестным взаимным цитированием, позволяющим обеспечить искусственное завышение рейтингов журналов1. Его влияние на показатели не всегда может быть обнаружено простыми способами, в том числе с помощью индекса Херфиндаля, который используется при подсчете Science index. Еще один способ, отмечаемый Е.В. Балацким и Н.А. Екимовой, -преобладание на страницах журнала сотрудников «материнской» организации, например вуза, или сотрудников из региона, в котором выпускается журнал. Это приводит к искусственному завышению популярности в первую очередь некоторых региональных изданий [Балацкий, Екимова, 2015].
Применительно к политологическим журналам подобные явления не всегда вызваны спланированными действиями по искусственному увеличению показателей цитирования. Такие явления могут быть также связаны с имеющимися условиями развития дисциплины и особенностями коммуникаций внутри научного сообщества. Активизация вузовской политологии в условиях целенаправленной государственной политики по развитию науки в университетах находит отражение в требованиях по увеличению целого ряда количественных показателей, в том числе наукометрических, относящихся к издающимся в вузах научным журналам.
Организационная структура российских вузов традиционно нацелена на образовательные функции, а научно-исследовательские в ней второстепенны. Это отражается и на вузовских научных журналах, которые в большинстве своем ориентированы на вузовскую структуру подразделений, объединяющих ученых разных (а порой и весьма далеких друг от друга) специальностей. Разнообразие тематики их публикаций ведет к слабой научно-тематической идентификации таких журналов, порождая и усугубляя ту проблему, о которой было сказано выше.
Кроме того, для таких журналов может быть характерен также феномен ведомственной и региональной «инкапсуляции» публикаций и цитирования. Сотрудникам материнской организа-
1 Davis P. The emergence of a citation cartel // The Scholarly Kitchen. -Mode of access: https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/ (Accessed: 20.11.2019.)
ции или из конкретного региона часто бывает существенно легче напечатать статью в «своих» журналах, а не в каком-то центральном издании. Но региональное издание не всегда доходит до читателей всей страны, поэтому и цитируется в основном авторами из своей организации или своего региона. Это приводит к искусственному завышению популярности, в первую очередь некоторых вузовских региональных изданий. На основе количества ссылок на такие журналы не всегда можно делать вывод о влиятельности цитируемых из журнала статей на развитие науки. Однако другие показатели баз данных позволяют выявить тематическую, ведомственную или региональную инкапсуляцию. В одной из наших публикаций мы приводили примеры цитирования трех журналов по организациям и журналам [Авдонин, Мелешкина, 2019, с. 85-86]. В данной статье мы приводим примеры ведомственной принадлежности авторов публикаций в трех журналах, один из которых академический, второй и третий издаются соответственно в московском и региональном вузах, а также данные по ведомственной принадлежности авторов цитат на статьи из этих журналов.
Таблица 3
Наибольшие доли статей и цитат на статьи из журнала, ведомственная принадлежность авторов которых в соответствующих группах совпадает
Всего статей в РИНЦ / Размер наибольшей группы статей с одинаковой ведомственной принадлежностью авторов (количество и процент статей) Всего ссылок в РИНЦ / Размер наибольшей группы цитат с одинаковой ведомственной принадлежностью авторов цитат (количество и процент цитат)
Политическая наука 1165 / 208 (17,8%) - ИНИОН РАН 5400 / 196 (3,6%) - МГУ им. Ломоносова
Вестник МГИМО 2122 / 1372 (64,7%) - МГИМО МИД РФ 9422 / 1529 (16,2%) - МГИМО МИД РФ
Вестник Пермского университета. Политология 559 / 168 (30%) - Пермский национальный исследовательский университет 1477 / 107 (7,2%) - Пермский национальный исследовательский университет
Составлено по: https://elibrary.ru/title_profile.asp?id=28034 (Accessed: 30.05.2019.); https://elibrary.ru/title_profile.asp?id=28264 (Accessed: 20.11.2019.); https://elibrary.ru/title_ profile.asp?id=2770 (Accessed: 20.11.2019.)
Данные, приведенные в таблице, не столь ярко свидетельствуют о ведомственной и региональной инкапсуляции вузовских журналов, как информация о распределении цитирования по жур-
налам, однако и здесь прослеживаются определенные тенденции. Особенно отчетливо инкапсуляция проявляется на примере «Вестника МГИМО», сотрудники которого являются авторами почти 65% статей данного издания.
Заключение
Взгляд на политическую науку сквозь призму учета и оценки ее профильных журналов в наиболее известных информационных системах позволяет судить о ряде особенностей ее современного состояния, включая содержательные и институциональные аспекты. Наиболее значимым, на наш взгляд, является сосуществование двух разных тенденций. Во-первых, это тенденция к дальнейшей институционализации политологических исследований и повышению академического статуса политической науки как самостоятельной дисциплины, что проявляется в увеличении количества и качества специализированных журналов, в активном использовании наукометрических показателей для их оценки самими исследователями, а также теми, кто принимает решения в сфере управления наукой и высшим образованием. Во-вторых, это тенденция к изменениям тематического фокуса политических исследований, что проявляется, например, в увеличении присутствия на высоких ступенях рейтинга журналов по тематике международных отношений и к расширению предметно-тематических полей исследований, их междисциплинарности. Наличие этих тенденций ощущается, судя по международным базам данных, и в мировой политической науке, и с некоторым преломлением и спецификой -в отечественной политологии. При этом попытки последней активнее включаться в мировые научные процессы будут стимулировать эту проблематику, а возможно, и обострять ее. Доминирующий вектор здесь, на наш взгляд, пока еще не определен, а обе тенденции имеют как негативные, так и позитивные компоненты.
Еще один вывод касается самих информационных систем и роли их инструментария в рефлексии политической науки. Наукометрические показатели, содержащиеся в различных базах данных, с одной стороны, предоставляют значительные возможности в плане анализа достижений той или иной научной дисциплины и ситуации с развитием соответствующих журналов. С другой сто-
роны, обращение к ним позволяет выявить ряд проблем, касающихся как самих используемых показателей и индексов, так и содержательных и институциональных аспектов тех или иных научных дисциплин.
Одна из проблем качества и релевантности библиометричес-ких показателей связана с противоречием между ориентациями на широту либо престижность цитирования и, соответственно, на широту и качество при формировании самих баз данных. В международных базах данных эта проблема в основном решается в пользу преимущественного развития инструментов учета престижности и качества цитирования и определенного ограничения широты баз данных. В системе РИНЦ престижность цитирования автоматически не учитывается, а специфика тематической рубрикации осложняет задачу формирования адекватной состоянию политической науки картины цитирования и важности научных журналов для развития дисциплины. Хотя и предпринимаются меры, чтобы нивелировать эти недостатки.
Еще одна группа проблем связана с недостатками импакт-фактора - ключевого компонента инструментов ранжирования журналов и публикаций во всех информационных системах. Среди слабостей этого показателя - невозможность учесть смысл цитирования, фиксировать искусственную «накрутку» цитирования или образование «пулов» журналов с взаимным цитированием и т.д. Здесь решение проблем видится в дополнении импакт-фактора другими показателями. Во-первых, теми, которые бы позволили более качественно отразить специфику цитирования с учетом «авторитетности», как это делается при составлении рейтинга SJR, используемого Scopus, или EF и AI, принятых в WoS. Во-вторых, иными формальными показателями, содержащимися в базах данных (время полужизни статей, средний размер статей и списка литературы, показатели цитирования в других журналах и организациях и т.п.), и экспертными оценками.
Особый круг составляют проблемы, связанные с включением отечественных журналов по политической науке в международные базы данных. Как свидетельствуют данные, отечественные журналы по политической науке не входят в группу лидеров (среди которых немало американских и британских журналов), занимая далекие от них места в рейтингах. Учитывая языковую политику отечественных журналов, специфику их распространения, опреде-
ленные тематические ожидания в международном научном сообществе и ряд других факторов, следует предположить, что российские журналы по политической науке еще долго не смогут соперничать с ведущими изданиями и занимать высокие места в рейтингах. Это будет снижать их привлекательность как места публикации статей отечественных ученых, вынуждаемых проводимой формальной политикой поощрения научных достижений ориентироваться на высокорейтинговые журналы.
Список литературы
Авдонин В.С., Мелешкина Е.Ю. О чем говорят рейтинги? Журналы по политической науке в системе РИНЦ // Полис. Политические исследования. - 2019. -№ 4. - С. 69-88. - DOI: https://doi.org/10.17976/jpps/2019.04.06 Авдонин В.С., Мелешкина Е.Ю. Политическая наука в институтах РАН сквозь
призму экспертного опроса // Политическая наука. - 2016. - № 2. - С. 232-246. Арнольд Д., Фаулер К. Гнусные цифры // Игра в цыфирь, или Как теперь оценивают труд ученого (сборник статей о библиометрике). - М.: Издательство МЦНМО, 2011. - С. 52-62. Балацкий Е.В., Екимова Н.А. Проблема манипулирования в системе РИНЦ // Вестник УрФУ. Серия Экономика и управление. - 2015. - Т. 14, № 2. - C. 166178. - DOI: https://doi.org/10.15826/vestnik.2015.14.2.021 Григорьева Е.И., Зарипова З.Р., Кокарев К.П. Хороши ли журналы, в которых размещены ваши статьи? // Полис. Политические исследования. - 2015. - № 3. -С. 147-159. - DOI: https://doi.org/10.17976/jpps/2015.03.10 Иванова Е.А. Использование показателей публикационной активности ученых в практике управления наукой (обзор обсуждаемых проблем) // Социология науки и технологий. - 2011. - Т. 2, № 4. - С. 61-72. Истомин И.А. Измерение продуктивности и результативности научных исследований: опыт США // Полис. Политические исследования. - 2018. - № 6. -С. 127-141. - DOI: https://doi.org/10.17976/jpps/2018.06.09 Истомин И.А., Байков А.А. Сравнительные особенности отечественных и зарубежных научных журналов // Международные процессы. - 2015. - № 2. -С. 114-140.
Коммуникация в современной науке: сб. переводов / под ред. Э. М. Мирского,
В.Н. Садовского. - М.: Прогресс, 1976. - 438 с. Лоуренс П.А. Потерянное при публикации: как измерение вредит науке // Игра в цыфирь, или Как теперь оценивают труд ученого (сборник статей о библиометрике). - М.: Издательство МЦНМО, 2011. - С. 39-45. Марусова В.А. Библиометрические характеристики российской науки в новом указателе Emerging Sources Citation Index // Научно-техническая информация. Сер. 2: Информационные процессы и системы. - 2016. - № 11. - С. 24-31.
Москалева О.В. Научные публикации как средство коммуникации, анализа и оценки научной деятельности // Москалева О.В. Руководство по наукометрии: индикаторы развития науки и технологии. - Екатеринбург: Издательство Уральского университета, 2014. - С. 110-163. - DOI: https://doi.org/10.15826/ B978-5-7996-1352-5.0006 Научная деятельность: структура и институты: сб. переводов / под ред.
Э.М. Мирского, Б.Г. Юдина. - М.: Прогресс, 1980. - 431 с. Новиков Д.А., Губко М.В. Наукометрия и экспертиза в управлении наукой: предисловие // Управление большими системами: сборник трудов. - М.: ИПУ РАН, 2013. - Специальный выпуск 44: Наукометрия и экспертиза в управлении наукой / под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - С. 8-15. Савинов Л.В. Российская политология и ее наукометрические показатели // Полис. Политические исследования. - 2012. - № 3. - С. 151-162. Управление большими системами: сборник трудов. - М.: ИПУ РАН, 2013. -№ 44: спец. вып.: Наукометрия и экспертиза в управлении наукой / под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - 568 с. Юревич М.А. Методические проблемы оценки результативности исследователя //
Наука. Инновации. Образование. - 2014. - № 16. - С. 28-41. Cozzens S.E. What do citations count? The rhetoric-first model // Scientometrics. - 1989. -
Vol. 15, N 5/6. - P. 437-447. - DOI: https://doi.org/10.1007/BF02017064 FongE.A., WilhiteA.W. Authorship and citation manipulation in academic research // PLoS ONE. - 2017. - Vol. 12, N 12. - DOI: https://doi.org/10.1371/journal. pone.0187394
González-Pereira B., Guerrero-Bote V.P., Moya-Anegón F. A new approach to the metric of journals' scientific prestige: The SJR indicator // Journal of informetrics. -2010. -N 4(3). - Р. 379-391. - DOI: https://doi.org/10.1016/jjoi.2010.03.002 Guerrero-Bote V.P., Moya-Anegón F. A further step forward in measuring journals' scientific prestige: The SJR2 indicator // Journal of informetrics. - 2012. - N 6 (4). -Р. 674-688. - DOI: https://doi.oig/10.1016/jjoi. 2012.07.001 Larivière V., Gingras Y. The impact factor's Matthew effect: a natural experiment in bibliometrics // Journal of the American society for information science and technology. - 2010. - Vol. 61, N 2. - Р. 424-427. - DOI: https://doi.org/10.1002/ asi.21232 Larivière V., Sugimoto C.R. The Journal Impact Factor: A brief history, critique, and discussion of adverse effects // Springer handbook of science and technology indicators / W. Glanzel, H.F. Moed, U. Schmoch, M. Thelwall (eds). - Cham (Switzerland): Springer International Publishing, 2019. - P. 2-33. Moed H.F. Citation analysis in research evaluation. - Berlin: Springer, 2005. - 346 p. WilhiteA.W., FongE.A. Coercive citations in academic publishing // Science. - 2012. -Vol. 335, N 6068. - P. 542-543. - DOI: https://doi.org/10.1126/science.1212540
V.S. Avdonin, E.Yu. Meleshkina* Political science in journals: analysis of tools and indicators in information systems
Abstract. The article focuses on professional systems of scientific journal data and ratings (Russian informational system RSCI, WoS and Scopus). It analyses their analytical tools and indicators. The authors highlight a number of problems related to a probable influence of the instruments and indicators on evaluation of the journals and the state of political science in general. Some solutions to these problems are proposed.
The authors identify two tendencies in the process of institutionalization of political research. The first one is the increase of the quantity of specialized journals. The second one is an application of scientometric indicators not only for evaluation of the journals by scientists but also by administrators and managers of science and education. The article shows possibilities of scientometric and other indicators of the data bases as tools supplementing impact-factors for evaluation of the scientific journals.
Keywords: political science journals; ratings of scientific journal; data bases RSCI; Scopus; Web of Science; scientometric indicators; political science in Russia.
For citation: Avdonin V.S., Meleshkina E.Yu. Political science in journals: analysis of tools and indicators in information systems. Political science (RU). 2020, N 1, P. 87-111. DOI: http://www.doi.org/10.31249/poln/2020.01.04
References
Arnold D., Fowler K. Vile Figures. In: The game of numerature, or how the scientist's work is now evaluated (collection of articles on bibliometrics). Moscow: MCCME, 2011, P. 52-62. (In Russ.)
Avdonin V.S., Meleshkina E. Yu. What do ratings say? Political science journals in the RSCI system. Polis. Political studies. 2019, N 4, P. 69-88. DOI: https://doi.org/10.17976/jpps/2019.04.06 (In Russ.)
Avdonin V.S., Meleshkina E. Yu. Political science in the institutes of Russian Academy of Sciences in the light of an expert poll. Political Science (RU). 2016, N 2, P. 232246. (In Russ.)
Balatsky E.V., Ekimova N.A. The problem of manipulation in the RSCI system. Bulletin of Ural federal university. Series economics and management. 2015, Vol. 14, N 2, P. 166-178. DOI: https://doi.org/10.15826/vestnik.2015.14.2.021 (In Russ.)
Communication in modern science: collection of translations. Ed. by E.M. Mirsky, V.N. Sadovsky. Moscow: Progress, 1976, 438 p. (In Russ.)
* Avdonin Vladimir, Institute of Information for Social Sciences of the Russian Academy of Sciences (Moscow, Russia), e-mail: avdoninvla@mail.ru; Meleshkina Elena, Institute of Information for Social Sciences of the Russian Academy of Sciences (Moscow, Russia), e-mail: elenameleshkina@yandex.ru
110
nonummecKan nayKa, 2020, № 1
Cozzens S.E. What do citations count? The rhetoric-first model. Scientometrics. 1989,
Vol. 15, N 5-6, P. 437-447. DOI: https://doi.org/10.1007/BF02017064 Fong E.A., Wilhite A.W. Authorship and citation manipulation in academic research. PLoS
ONE. 2017, Vol. 12, N 12. DOI: https://doi.org/10.1371/journal.pone.0187394 González-Pereira B., Guerrero-Bote V.P., Moya-Anegón F. A new approach to the metric of journals' scientific prestige: The SJR indicator. Journal of informetrics. 2010, N 4 (3), P. 379-391. DOI: https://doi.org/10.1016/jjoi.2010.03.002 Grigorieva E.I., Zaripova Z.R., Kokarev K.P. How good are the journals in which you publish your articles? Polis. Political studies. 2015, N 3, P. 147-159. DOI: https://doi.org/10.17976/jpps/2015.03.10 (In Russ.) Guerrero-Bote V.P., Moya-Anegón F. A further step forward in measuring journals' scientific prestige: The SJR2 indicator. Journal of informetrics. 2012, № 6 (4), P. 674-688. DOI: https://doi.org/10.1016/jjoi.2012.07.001 Ivanova E.A. The use of indicators of publication activity of scientists in the practice of science management (review of the issues discussed). Sociology of science and technology. 2011, Vol. 2, N 4, P. 61-72. (In Russ.) Istomin I.A. Assessment of scientific productivity and social utility of scientific studies: the lessons from the U.S. record. Polis. Political Studies. 2018, N 6, P. 127-141. DOI: https://doi.org/10.17976/jpps/2018.06.09 (In Russ.) Istomin I.A., Baykov A. A. Russian and international publication practices. A comparative study of ir scholarly journals. International Trends (Mezhdunarodnye protsessy) Journal of International relations theory and world politics. 2015, N 2, P. 114-140. (In Russ.) Lariviére V., Gingras Y. The impact factor's Matthew effect: a natural experiment in bib-liometrics. Journal of the American Society for information science and technology. 2010, Vol. 61, N. 2, P. 424-427. DOI: https://doi.org/10.1002/asi.21232 Lariviére V., Sugimoto C.R. The journal impact factor: a brief history, critique, and discussion of adverse effects. In: Springer handbook of science and technology indicators. Ed. by W. Glanzel, H.F. Moed, U. Schmoch, M. Thelwall. Cham (Switzerland): Springer International Publishing, 2019, P. 2-33. Lawrence P.A. Lost on publication: how measurement hurts science. In: The game of numerature, or how the scientist's work is now evaluated (collection of articles on bibliometrics). Moscow: MCCME, 2011, P. 39-45. (In Russ.) Marusova V.A. Bibliometric characteristics of Russian science in the new Emerging Sources Citation Index. Scientific and technical information. Series 2. «Information Processes and Systems». 2016, N 11, P. 24-31. (In Russ.) Moskaleva O.V. Research publications as a means of communication, analysis and assessment of research activity. In: Handbook for scientometrics: indicators of science and technology development. Ekaterinburg: Ural state university, 2014, P. 110163. DOI: https://doi.org/10.15826/B978-5-7996-1352-5.0006 (In Russ.) Novikov D.A., Gubko M.V. Scientometrics and expertise in science management: foreword. In: Management of large systems. Collection of works. Special issue 44: Scientometrics and expertise in the management of science. Ed. by D.A. Novikov, A.I. Orlov, P. Yu. Chebotarev. Moscow: ICS RAS, 2013, P. 8-15. (In Russ.)
Management of large systems. Collection of works. Special issue 44: Scientometrics and expertise in the management of science. Ed. by D.A. Novikov, A.I. Orlov, P.Yu. Chebotarev. Moscow: ICS RAS, 2013, 568 p. (In Russ.) Moed H.F. Citation analysis in research evaluation. Berlin: Springer, 2005, 346 p. Savinov L. V. Russian political science and its scientometrical characteristics. Polis.
Political Studies. 2012, N 3, P. 151-162. (In Russ.) Scientific activity: structure and institutes: collection of translations. Ed. by
E.M. Mirsky, B.G. Yudin. Moscow: Progress, 1980, 431 p. (In Russ.) Wilhite A.W., Fong E.A. Coercive citations in academic publishing. Science. 2012,
Vol. 335, N 6068, P. 542-543. DOI: https://doi.org/10.1126/science.1212540 Yurevich M.A. Methodical problems of researcher productivity assessment. Science. Innovation. Education. 2014, N 16, P. 28-41. (In Russ.)
