CC BY
11
В ПОИСКЕ АЛЬТЕРНАТИВ
DOI: 10.17323/1811-038X-2022-31-4-100-121
Российские социологические журналы
в международных базах данных:
что необходимо учесть в новой системе оценки
О.В. ТРЕТЬЯКОВА*
*Ольга Валентиновна Третьякова - кандидат филологических наук, ведущий научный сотрудник, заведующий отделом редакционно-издательской деятельности и научно-информационного обеспечения, Вологодский научный центр РАН, Вологда, Россия, olga.tretyackova@yandex.ru, https://orcid.org/0000-0002-2429-0503
Цитирование: Третьякова О.В. (2022) Российские социологические журналы в международных базах данных: что необходимо учесть в новой системе оценки // Мир России. Т. 31. № 4. С. 100-121. DOI: 10.17323/1811-038Х-2022-31-4-100-121
Аннотация
Задачи по созданию национальной системы оценки эффективности научных исследований актуализируют проблему учета библиометрических показателей журналов. Отдельного осмысления требуют критерии оценки научных изданий, получивших международную сертификацию за счет включения в глобальные базы данных. В статье обобщены результаты анализа социологических журналов, индексирующихся в Web of Science и Scopus, по параметрам, которые характеризуют цитируемость изданий. Результаты исследования показывают, что журналы могут относиться к разным квартилям, не имея сопоставимых различий в уровне цитируемости. Качественный анализ источников цитирования позволил установить, что издания в полной мере не отвечают дополнительным критериям воздействия, использующимся для отбора наиболее влиятельных журналов, что является барьером для их продвижения в основной указатель - Social Sciences Citation Index. Выводы исследования важны для решения вопроса о выборе критериев оценки научной периодики. Выявлены негативные эффекты формализованного использования квартильных метрик в системе оценки научных результатов и предложены механизмы для их устранения.
Ключевые слова: социологические журналы, библиометрические показатели, импакт-фактор, международные наукометрические базы данных, Web of Science, Scopus
Статья опубликована в рамках проекта НИУ ВШЭ по поддержке публикаций авторов российских образовательных и научных организаций «Университетское партнерство».
Статья поступила в редакцию в апреле 2022 г.
Введение
В последнее десятилетие вопросы оценки результативности исследовательской деятельности вызвали острую полемику в экспертной среде. Назревшее противоречие между запросом научного сообщества на качественную оценку результатов и необходимостью отчитываться по полученным результатам в виде количественных показателей усилило дискуссию о выборе адекватных критериев такой оценки.
Следует заметить, что с началом реализации Национального проекта «Наука»1 приоритеты научной политики сместились с учета валовых количественных показателей в сторону использования качественных индикаторов оценки научных результатов [Балацкий и др. 2021]. При этом широкое применение получили библио-метрические показатели, отражающие уровень цитируемости и статус научных журналов, в которых должны быть опубликованы научные результаты. Заявленное среди целевых показателей число статей в журналах 1-го и 2-го квартилей, индексируемых в международных наукометрических базах данных (МНБД) Web of Science (WoS) и Scopus, учитывается в действующей методике Минобрнауки России, по которой оценивается объем выполняемых научными организациями государственных заданий. Обязательное требование публикаций в журналах, индексируемых в МНБД, содержится в условиях предоставления грантов от Российского научного фонда и финансирования в рамках ряда государственных программ и проектов.
Курс на представление научных результатов в ведущих международных изданиях обусловил значительное улучшение позиций России в мировом публикационном поле. Так, согласно оценкам Российского научно-исследовательского института экономики, политики и права, общее число научных статей российских исследователей по данным системы Web of Science Core Collection (WoS CC) в 2020 г. по отношению к 2016 г. увеличилось на 34,9%, а в Scopus - на 34,4% [Бородик и др. 2021, с. 575]. Вместе c тем последствия борьбы за наивысшие показатели публикационной активности проявились в трансформации научной этики и стремительном росте недобросовестной конкуренции в науке и образовании, выразившейся в практиках наращивания числа статей в псевдонаучных и хищнических изданиях, накрутке цитирований, что отразилось на увеличении показателей многих организаций и журналов [Дежина 2021; Максимов 2021; Трубникова 2020; Chirikov 2021; Kosyakov, Guskov 2019]. Подобное поведение оказывает существенное влияние и на процесс формирования механизмов и критериев оценки периодических изданий. Это стало причиной появления практик составления различных журнальных списков, отражающих интересы отдельных организаций и экспертов и включающих в себя издания, которые нарушают публикационную этику [Kassian, Melikhova 2019; Sterligov 2018].
Чрезмерность практики использования библиометрических показателей для оценки научной результативности вызвала волну критики [Паршин 2018; Lawrence 2008; Steele et al. 2006]. Ее главным объектом стали утвержденные показатели публикационной активности, породившие вынужденную реакцию исследователей на публикационную гонку, что привело к накрутке показателей и снижению качества публикаций [Дежина, Сорокин 2022, с. 81]. Было установлено, что государственная научная политика включает инструменты, которые на самом деле
1 http://static.government.ru
препятствуют достижению декларируемых в ней целей. Ученые обосновали, что такие ее компоненты, как механизмы повышения публичной подотчетности науки, а также намерения финансировать исследования в основном на конкурсной основе, лишены научных оснований [Тамбовцев 2018]. Оценивая негативные эффекты от ориентации на показатели МНБД, отдельные эксперты пришли к выводу, что «формирование западоориентированной и западозависимой модели функционирования российской науки» превращает нашу страну в одного из главных мировых поставщиков «научного сырья» [Максимов 2021, с. 19].
Новый виток актуальности проблема обрела в марте 2022 г., когда компания Clarivate Analytics официально объявила о прекращении коммерческой деятельности в России и приостановке процедур рассмотрения новых российских журналов на включение в МНБД Web of Science2. Правительство РФ отреагировало на сложившуюся ситуацию намерением отказаться при выполнении федеральных проектов и программ, а также государственных заданий на научные исследования от требования по наличию публикаций в зарубежных научных изданиях, включенных в МНБД Web of Science и Scopus3. Кроме того, по поручению заместителя Председателя Правительства РФ Д.Н. Чернышенко Минобрнауки РФ приступило к разработке собственной системы оценки эффективности научных исследований, в которой будет сделан акцент на учет национальных интересов, повышение доли экспертной оценки и внедрение научных результатов. Поставлены задачи по созданию российской базы научного цитирования, ядро которой составят российские журналы, издания из стран СНГ и БРИКС, и по формированию списка ведущих журналов для публикаций отчетов о проведенных исследованиях на базе журналов, включенных в RSCI, РИНЦ и перечень ВАК4. Как подчеркнул глава Минобрнауки России В.Н. Фальков в ходе встречи с директорами научных организаций, состоявшейся 31 марта 2022 г., разработчики национальной системы оценки результативности исследовательского труда будут корректировать действующую систему, поэтому речь не идет о полном отказе от показателей публикационной активности. При этом новая система будет направлена на поддержку уже существующих в России результативных научных журналов и обеспечение возможностей для открытия новых изданий5.
В экспертном сообществе были высказаны мнения, что новая система должна не только сохранить, но и усилить глобальную конкурентоспособность отечественной науки, несмотря на все ограничения. Поэтому для сохранения ориентации России на глобально конкурентоспособное качество фундаментальных исследований важно учитывать опыт предыдущих лет и уже достигнутые итоги международной публикационной активности и цитируемости6.
2 Clarivate to Cease all Commercial Activity in Russia (2022) // Clarivate, March 12, 2022 // https://clarivate.com/news/clarivate-to-cease-all-commercial-activity-in-russia/, дата обращения 30.06.2022.
3 Правительство намерено отменить требования к ученым о публикациях в зарубежных изданиях (2022) // ТАСС. 15 марта 2022 // https://nauka.tass.ru/nauka/13994379, дата обращения 30.06.2022.
4 Минобрнауки при оценке научных результатов будет учитывать их внедрение в практику // ТАСС. 31 марта 2022 // https://nauka.tass.ru/nauka/14237869, дата обращения 30.06.2022.
5 Валерий Фальков встретился с руководителями научных организаций (2022) // Министерство науки и высшего образования РФ. 31 марта 2022 // https://minobrnauki.gov.ru/press-center/news/?ELEMENT_ID=49283, дата обращения 30.06.2022.
6 Эксперты обсудили создание Национальной системы оценки результативности научных исследований и разработок (2022) // Министерство науки и высшего образования РФ. 1 марта 2022 // https://minobrnauki.gov.ru/press-center/news/?ELEMENT_ID=48219, дата обращения 30.06.2022.
Мы разделяем точку зрения экспертов, полагающих, что для понимания того, как соотносится уровень той или иной научной дисциплины или научной организации с мировым уровнем, «необходимо использовать те критерии оценки, которые применяются в передовых в научном отношении странах» и «сделать результаты такой оценки сопоставимыми» [Иванчик 2018, с. 986]. Это касается, в частности, и применения наукометрических данных, основанных на индексах МНБД.
Заметим, что к настоящему времени в России сформировался пул научных журналов, включенных в МНБД. Статус этих изданий оценивается по-разному: он зависит от базы данных и указателя, куда включен журнал, а также от ранга по квартилю. Под квартилем понимается категория научных журналов, которая определяется библиометрическими показателями, отражающими уровень цити-руемости7. Для определения квартиля журнала в МНБД WoS используются рассчитанные значения двухлетнего импакт-фактора, которые ежегодно публикуются в базе отчетов Journal Citation Reports (JCR); в МНБД Scopus - показатель SJR, лежащий в основе рейтинга журналов SCIMago Journal Ranking. Проблема с учетом статей из квартальных журналов8 обозначилась в отраслях, в которых до появления в 2015 г. нового указателя Emerging Sources Citation Index (ESCI) в составе WoS CC практически не было изданий, включенных в МНБД; речь идет о журналах социально-экономического профиля. На сегодняшний день для тех из них, которые вошли в WoS (ESCI), значения импакт-фактора не рассчитываются, следовательно, эти издания не ранжируются по данному показателю и не имеют ранга по квартилю9. При этом часть изданий индексируется параллельно в МНБД Scopus и имеет значение квартиля в SJR. Складывается противоречивая ситуация, поскольку одно и то же издание может по-разному оцениваться в базах данных даже при наличии сходных индикаторов, характеризующих воздействие.
Корректная оценка таких журналов требует анализа цитирования в МНБД Web of Science и Scopus по сопоставимым параметрам. При этом для журналов из ESCI важно понять, почему они остаются невключенными в основной указатель Social Sciences Citation Index (SSCI). Выявление этих причин поможет наметить стратегию для дальнейшего развития журналов и создания условий для упрочнения их позиций в мировом информационном пространстве.
Для решения обозначившейся проблемы необходимы комплексные исследовательские данные о состоянии российских журналов, представленных в глобальных индексах цитирования. И если экономические издания уже получили некоторые оценки [Balatsky, Ekimova 2021; Третьякова 2021], то журналы социологического профиля все еще нуждаются в проведении отдельного анализа. Общие характеристики, которые получили журналы социально-гуманитарной направленности с точки зрения перспектив развития в плане их международного признания [Акоев, Москалева 2021; Москалева, Акоев 2020], требуют детализации по отдельным изданиям.
7
Что такое квартиль и где его искать: навигация по базам данных Web of Science и Scopus (2014) // Окна роста. 27 февраля 2014 // https:/^kna.hse.m/news/134100125.html#:~:text=Квартиль%20—%20это%20катешрия%20 научных,есть%20востребованности%20журнала%20научным%20сообществом, дата обращения 30.06.2022.
8 Наименование «квартальные журналы» используется для обозначения изданий, которые имеют ранг по квартилю, определяемый в ходе их ранжирования по значению двухлетнего импакт-фактора в МНБД WoS и показателя SJR в МНБД Scopus.
9 Мы не учитываем здесь новый показатель Journal Citation Indicator (JCI) и квартили, которые присваиваются на его основе, поскольку данные индикаторы не принимаются во внимание в действующей системе оценки научных результатов.
Настоящее исследование направлено на восполнение обозначенного пробела путем анализа библиометрических показателей российских социологических журналов, которые одновременно включены в МНБД Web of Science и Scopus. В настоящей статье проведена их сравнительная оценка по параметрам, характеризующим воздействие (impact) изданий; ее результаты позволили сопоставить уровень цитируемости журналов в обеих базах данных. На основе критериев, по которым можно судить о качестве и уровне воздействия журналов, выполнен углубленный анализ цитирования. Его результаты позволили выявить причины, которые объясняют, почему российские журналы продолжают оставаться в указателе ESCI и не переводятся в основной указатель SSCI в МНБД WoS, а также определить ограничения и возможности для эффективного продвижения российских изданий. Выводы, полученные в ходе сопоставительного анализа журналов, важны в решении вопросов об использовании библиометрических показателей в системе оценки научных результатов. Также выявлены противоречия, связанные с использованием рангов научных журналов по квартилям, в действующей системе оценки научной результативности и предложены механизмы для их устранения.
Данные и методы
Журналы социальной тематики, включенные в МНБД, относятся к разным тематическим категориям. Так, согласно данным Scimago Journal & Country Rank10, по состоянию на март 2022 г. в МНБД Scopus в категорию «Социология и политология» входят 24 российских журнала, из которых 17 изданий включены также в МНБД WoS. При этом большинство из них относятся к иным тематическим категориям WoS, в частности к категориям «Экономика», «Регионоведение», «Международные отношения» и другим. Довольно широкий спектр тематических категорий в некоторой степени ограничивает выбор сопоставимых данных.
В соответствии с целями нашего анализа мы сформировали перечень социологических журналов, включенных в обе базы данных (Web of Science и Scopus), путем проведения поиска в Российском индексе научного цитирования по журналам, входящим в тематическую категорию «Социология». В результате получен список из восьми изданий (таблица 1). Общая характеристика изданий дополнена сведениями о языке публикаций, поскольку наличие в журнале статей на английском языке существенно влияет на уровень его цитируемости [González-Alcaide et al. 2012; Di Bitetti, Ferreras 2017; Yu et al. 2020]. Мы изучили модели представления англоязычного контента, которые используют российские социологические журналы, включенные в МНБД, и провели их типологизацию. Эти данные позволили обосновать выводы, полученные в результате анализа качества цитирующих источников.
Анализ количественных и качественных показателей журналов осуществлен в два этапа.
1-й этап. Чтобы оценить их состояние в МНБД Web of Science и Scopus, мы провели сравнительный анализ библиометрических показателей за 2020 г.,
10 Scimago Journal & Country Rank // https://www.scimagojrcom/journalrank.php?category=3312&country=RU&wos=false, дата обращения 30.06.2022.
характеризующих воздействие, влияние (impact) журнала. Для сопоставления были выбраны три индикатора: двухлетний импакт-фактор журнала в МНБД Web of Science, импакт-индекс и показатель SJR в МНБД Scopus.
Таблица 1. Сводные данные о российских социологических журналах, включенных в МНБД Web of Science и Scopus
Журнал Учредитель / издатель (город) Модель представления англоязычного контента
«Вестник Российского университета дружбы народов. Серия: Социология» Российский университет дружбы народов (Москва) Регулярная публикация выборочных статей на английском языке в каждом выпуске
«Журнал исследований социальной политики» НИУ «Высшая школа экономики» (Москва) Регулярная публикация выборочных статей на английском языке в каждом выпуске
«Мир России. Социология. Этнология» НИУ «Высшая школа экономики» (Москва) Регулярная публикация выборочных статей на английском языке в каждом выпуске
«Социологические исследования» Российская академия наук, Федеральный научно-исследовательский социологический центр РАН (Москва) Выборочные статьи на английском в составном журнале, публикующем лучшие статьи из нескольких изданий (в составном журнале Sociological Research)
«Социологическое обозрение» НИУ «Высшая школа экономики» (Москва) Выборочные статьи на английском языке с отдельными выпусками полностью на английском языке
«Экономическая социология» НИУ «Высшая школа экономики» (Москва) Нерегулярная публикация выборочных статей на английском языке в выборочных выпусках
Changing Societies and Personalities Уральский федеральный университет им. первого Президента России Б.Н. Ельцина (Екатеринбург) Полнотекстовое издание только на английском языке
«Laboratorium: Журнал социальных исследований» Центр независимых социологических исследований (Санкт-Петербург) Регулярная публикация выборочных статей на английском языке в каждом выпуске
Источник: составлено автором на основе результатов анализа контента журналов.
Показатель двухлетнего импакт-фактора коррелирует с мнением, сложившимся у ученых о лучших журналах в их дисциплинах [Hoeffel 1998], и традиционно используется для определения уровня воздействия журнала на научное направление [Bornmann, Haunschild 2018] и степени его влияния [Garfield 1955; Garfield 2009]. Для журналов, входящих в основной указатель SSCI, значение импакт-фактора определено по данным Journal Citation Reports 2020. Для тех изданий, которые включены в новый указатель ESCI, где значения импакт-фак-тора не рассчитываются [Маркусова 2016], мы провели расчеты самостоятельно, используя классическую методику [Garfield 2009], по которой вычисляются значения импакт-факторов у журналов, включенных в указатели Science Citation Index Expanded (SCIE) и Social Sciences Citation Index (SSCI). Рассчитанные значения двухлетнего импакт-фактора (рИФ) характеризуют среднее число ссылок,
полученных в 2020 г. статьями из журнала, которые были опубликованы в течение двух предыдущих лет, т.е. в период 2018-2019 гг.
Оценка среднего уровня цитируемости изданий в МНБД Scopus проведена по импакт-индексу и показателю SCImago Journal Rank indicator (SJR). Импакт-индекс отражает среднее цитирование на публикацию за двухлетний период. Показатель SJR, введенный с целью преодоления недостатков импакт-фактора [Bornmann et al. 2012], учитывает уровень журналов, из которых поступают цитирования [Москалева 2014]. При его расчете устанавливается трехлетнее окно цитирования, и ссылки из престижных журналов учитываются с большим весом, чем из менее престижных [Moed 2017]. С учетом этого показателя производится ранжирование журналов по квартилям, которое основано на процентиль-ных рангах (PR - percentile ranks), связанных в МНБД Scopus с метрикой SJR. Процентильный рейтинг представляет собой соотношение между фактическим рейтингом, присвоенным в предметной категории, и количеством журналов из этой категории. Журнал относится к Q1, если его PR находится в интервале (0,0; 0,25), к Q2 - PR в (0,25; 0,5], к Q3 - PR в (0,5; 0,75] и к Q4, если его PR выше 0,75 [Vîiu, Pâunescu 2021, p. 1501].
2-й этап. Поскольку большинство российских социологических журналов входят в Web of Science в базу данных ESCI, мы оценили их перспективы на включение в основной журнальный указатель SSCI. С этой целью был проведен сравнительный анализ рассчитанных значений двухлетнего импакт-фактора российских журналов из ESCI за 2020 г. и соответствующих показателей социологических журналов из SSCI, выборка которых осуществлена из базы данных Journal Citation Reports. Также проанализированы темпы роста значений рИФ в 2018-2020 гг. для оценки перспектив изданий по достижению необходимых показателей.
Определить, отвечают ли российские журналы дополнительным критериям воздействия11, которые используются для отбора наиболее влиятельных изданий в основные указатели WoS, позволила оценка качества цитирования статей за период 2019-2021 гг. С этой целью были проанализированы источники всех ссылок, полученных журналами в указанный период, и определены доли каждого из трех типов источников: основных журнальных указателей SSCI, SCIE и Arts & Humanities Citation Index (AHCI), нового указателя ESCI, а также указателей цитирования материалов конференций и книг Conference Proceedings Citation Index (CPCI) и Book Citation Index (BKCI). Дополнительно проанализирована география авторов статей, в которых были процитированы журналы.
Проведен сопоставительный анализ полученных данных с показателями российского журнала из SSCI и зарубежных журналов, которые в результате переоценки были переведены из ESCI в основной журнальный указатель SSCI. Полученные выводы ограничены объемом выборки и профилем использовавшихся для сопоставления изданий, поскольку примеры журналов, переведенных в SSCI, точечные и сводные данные о них не размещаются в открытых источниках. Нам удалось определить два международных журнала сходной научной направленности - Journal of Asian Public Policy (категории WoS - «Регионоведение»;
11 Согласно процедуре селекционного процесса в Web of Science, при отборе наиболее влиятельных изданий на возможный срок включения в один из основных указателей в первую очередь оцениваются качество цитирования и влиятельность источников цитирования. В результате отбираются журналы, показатели которых соответствуют индикаторам верхней половины журналов из релевантного основного указателя.
«Общественные науки, общее») и International Journal of Housing Policy (категории WoS - «Общественные науки, общее»; «Экологические исследования»; «Государственное управление»; «Городские исследования»). Сведения о них обобщены в таблице 2.
Таблица 2. Сводные данные о журналах, которые перешли из ESCI в SSCI
Журнал Учредитель / издательство (город, страна) Архив в WoS CC Предметная категория WoS Язык публикации Доступ
Journal of Asian Public Policy Редакция (Гонконг, Китай) / Routledge Journals, Taylor & Francis Ltd (Абингдон, Англия) ESCI -архив за 2017 г. SSCI -архив с 2018 г. Регионоведение (Area Studies) Essential Science Indicators: Общественные науки, общее (Social Sciences, General) Журнал на английском языке с метаданными на английском По подписке
International Journal of Housing Policy Редакция (Гонконг, Китай) / Routledge Journals, Taylor & Francis Ltd (Абингдон, Англия) ESCI -архив за 2017 г. SSCI -архив с 2018 г. Общественные науки, общее (Social Sciences, General): экологические науки (Environmental Science); государственное управление (Public Administration); городские исследования (Urban Studies) Журнал на английском языке с метаданными на английском По подписке
Источник: составлено автором на основе результатов анализа контента журналов и по данным МНБД WoS.
Архив этих изданий за 2017 г. включен в ESCI, а уже с 2018 г. журналы переведены в основной указатель SSCI. Редакции изданий находятся в Гонконге, но оба журнала выпускаются крупным международным издательством Taylor & Francis в Англии. При этом в базе данных Journal of Asian Public Policy аффилирован с Китаем, а International Journal of Housing Policy - с Англией. Журналы являются международными изданиями: выпускаются полностью на английском языке, метаданные на национальных языках отсутствуют; доступ к контенту предоставляется по подписке. Согласно данным Journal Citation Reports 2020, по значению двухлетнего импакт-фактора Journal of Asian Public Policy относится к 1-му квартилю (Q1), а International Journal of Housing Policy - ко 2-му (Q2).
Для сбора библиометрических данных, необходимых для проведения исследования, использован инструментарий Clarivate Analytics и Elsevier.
Эмпирические оценки и обсуждение результатов
Судя по показателям, характеризующим среднюю цитируемость статьи МНБД Web of Science и Scopus (таблица 3), половина российских социологических журналов имеет примерно одинаковый уровень цитирования в обеих МНБД в 2020 г. («Журнал исследований социальной политики», «Экономическая социология», «Социологическое обозрение», Changing Societies & Personalities).
Из всех изданий только один журнал - «Социологические исследования» -индексируется в SSCI, куда он был включен еще до 2015 г., поэтому сразу попал в основной указатель. Согласно данным Journal Citation Reports, значение его им-пакт-фактора в 2020 г. составило 0,602, и по этому индикатору журнал относится к 4-му квартилю. В МНБД Scopus при более низких показателях средней цитируе-мости журнал «Социологические исследования» относится ко 2-му квартилю.
Таблица 3. Показатели российских социологических журналов в МНБД Web of Science и Scopus, 2020 г.
Web of Science Scopus
Журнал РИФ2020 QJIF 2G2G Импакт-индекс SJR2020 Q ** VSJR 2G2G
«Социологические исследования» 0,602* 4 0,45 0,356 2 SP
«Мир России. Социология. Этнология» 0,662 - 0,59 0,464 2 SP 2 EE 2D
«Журнал исследований социальной политики» 0,465 - 0,43 0,414 2 SP 2 PA
«Экономическая социология» 0,333 - 0,35 0,373 2 SP 3 EE
«Вестник Российского университета дружбы народов. Серия: Социология» 0,306 - 0,48 0,281 2 S
«Социологическое обозрение» 0,260 - 0,23 0,235 3 S
Changing Societies & Personalities 0,146 - 0,10 0,117 4 SP 3 CS
«Laboratorium: журнал социальных исследований» 0,099 - 0,31 0,136 4 S
Источник: расчеты автора по данным МНБД WoS по состоянию на март 2022 г. (рИФ2020); данные Journal Citation Reports 2020; данные МНБД Scopus и SCImago Journal Rank по состоянию на март 2022 г. * Указано значение JIF 2020 по данным Journal Citation Reports 2020.
** Условными знаками обозначены следующие предметные категории: CS — Cultural Studies; D — Demography; Development; EE — Economics and Econometrics; S — Social Sciences (miscellaneous); SP — Sociology and Political Science; PA — Public Administration.
Остальные журналы не имеют в WoS квартильного ранга по значению двухлетнего импакт-фактора, так как входят в ESCI, при этом в Scopus некоторые из них имеют высокие показатели SJR и относятся ко 2-му квартилю: «Мир России. Социология. Этнология» (в предметных категориях Sociology and Political Science; Economics and Econometrics; Demography; Development), «Журнал исследований социальной политики» (Sociology and Political Science; Public Administration); «Вестник Российского университета дружбы народов. Серия: Социология» (Social Sciences, miscellaneous), «Экономическая социология» (только в предметной категории Sociology and Political Science). Среди этих изданий есть такие, которые в МНБД WoS имеют более высокий
уровень цитируемости, но остаются не включенными в указатель SSCI и не причисленными к квартилю, так как не отвечают дополнительным критериям, по которым отбираются издания в основные индексы. Так, например, журнал «Мир России. Социология. Этнология», относящийся в Scopus к журналам 2-го квартиля с показателем SJR = 0,464, имеет в WoS довольно высокое значение рассчитанного двухлетнего импакт-фактора 0,662, но не имеет ранга по квартилю.
Сравнительный анализ рИФ2020 российских журналов и соответствующих индикаторов социологических журналов, которые уже индексируются в SSCI, показал, что рассчитанные показатели всех российских изданий не превышают значений импакт-фактора журналов 4-го квартиля (таблица 4).
Таблица 4. Сравнительные характеристики импакт-фактора журналов из SSCI категории Sociology и российских социологических журналов из ESCI, 2020 г.
Журнал из ESCI РИФ2020 Журнал из SSCI JIF 2020 Q
«Мир России. Социология. Этнология» 0,662 Eastern European Countryside 0,609 4
«Журнал исследований социальной политики» 0,465 Sociologus 0,412 4
«Экономическая социология» 0,333 Deviance et Societe 0,325 4
«Вестник Российского университета дружбы народов. Серия: Социология» 0,306 Soziale Welt 0,290 4
«Социологическое обозрение» 0,260 Polish Sociological Review 0,283 4
Changing Societies & Personalities 0,146 Telos 0,169 4
«Laboratorium: журнал социальных исследований» 0,099 Telos 0,169 4
Источник: расчеты автора по данным WoS по состоянию на март 2022 г. (рИФ ); Journal Citation Reports 2020.
Оценка значений импакт-фактора за 2020 г. журналов, входящих в SSCI в предметную категорию Sociology, показала, что по уровню средней цитируемости верхней половине перечня пока не соответствует ни один российский журнал (таблица 5). Большинству изданий предстоит улучшить значение импакт-фактора в несколько раз, чтобы иметь возможность конкурировать по уровню цитируемости с журналами SSCI 2-го квартиля. Однако неустойчивая динамика показателей рИФ российских журналов и невысокие темпы роста этих значений (таблица 6) вынуждают сделать вывод о трудности решения данной задачи в ближайшей перспективе.
Результаты сопоставительного анализа источников цитирования российских социологических журналов и зарубежных изданий, которые после переоценки были переведены из ESCI в SSCI, показали, что отечественные журналы пока еще в полной мере не отвечают дополнительным критериям воздействия, использующимся для отбора наиболее влиятельных журналов в основные указатели WoS (таблица 7). Так, в большинстве российских журналов около 60-70% цитирующих источников входят в новый указатель ESCI, в то время как в зарубежных изданиях 70-80% включены в основные индексы.
Таблица 5. Распределение значений ИФ журналов, входящих в SSCI в предметную категорию Sociology, 2020 г.
Квартиль Значения двухлетнего импакт-фактора JCR 2020
Q1 2,927-9,654
Q2 1,960-2,923
Q3 1,063-1.959
Q4 0,169-1,029
Число журналов Sociology - SSCI, ед. 152
Источник: Journal Citation Reports 2020.
Таблица 6. Динамика значений рИФ российских социологических журналов в ESCI, 2019-2021 гг.
Журнал РИФ2019 РИФ2020 РИФ202!* Темпы роста, 2019-2020, % Темпы роста, 2020-2021, %
«Мир России. Социология. Этнология» 0,574 0,662 0,479 115 72
«Экономическая социология» 0,425 0,333 0,314 78 94
«Социологическое обозрение» 0,385 0,260 0,271 68 104
«Журнал исследований социальной политики» 0,364 0,465 0,307 128 66
«Вестник Российского университета дружбы народов. Серия: Социология» 0,196 0,306 0,303 156 99
«Laboratorium: журнал социальных исследований» 0,135 0,099 0,152 73 154
Changing Societies & Personalities - 0,146 0,148 - 101
Источник: расчеты автора по данным WoS по состоянию на март 2022 г.
*Значения рИФ2(ш указаны для справки, так как полные показатели будут сформированы через полгода после расчетного периода, то есть в июне 2022 г.
Таблица 7. Источники цитирования журналов в WoS*
2019 r. 2020 г. 2021 г.
Журнал Число цитирования Доля цитирования статей в распределении по индексам WoS, % Доля национального Число цитирования Доля цитирования статей в распределении по индексам WoS, % Доля национального Число цитирования Доля цитирования статей в распределении по индексам WoS, % Доля национального
статей, ед. SCIE+ SSCI+ AHCI ESCI CPCI+ BKCI цитирования, % статей, ед. SCIE+ SSCI+ AHCI ESCI CPCI+ BKCI цитирования, % статей, ед. SCIE+ SSCI+ AHCI ESCI CPCI+ BKCI цитирования, %
Emerging Sources Citation Index
«Экономическая социология» 30 20,0 70,0 10,0 86,7 42 19,0 76,2 4,8 92,9 40 25,0 70,0 5,0 82,5
«Мир России. Социология. Этнология» 34 29,4 64,7 5,9 91,2 61 24,6 62,3 13,1 86,9 48 31,3 68,7 - 85,4
«Laboratorium: журнал социальных исследований» 11 54,6 45,4 - 72,7 20 30,0 65,0 5,0 50,0 28 50,0 46,4 3,6 53,6
«Вестник Российского университета дружбы народов. Серия: Социология» 20 30,0 60,0 10,0 80,0 45 22,2 68,9 8,9 80,0 61 31,2 67,2 1,6 70,5
«Журнал исследований социальной политики» 29 24,2 58,6 17,2 72,4 54 24,1 66,7 9,2 79,6 50 32,0 68,0 - 80,0
«Социологическое обозрение» 35 31,4 62,9 5,7 88,6 44 29,6 63,6 6,8 79,6 46 28,3 67,4 4,3 80,4
Changing Societies & Personalities 4 75,0 25,0 - 25,0 9 11,1 88,9 - 33,3 21 52,4 42,8 4,8 14,3
Social Sciences Citation Index
«Социологические исследования» 485 30,1 49,1 20,8 87,0 496 33,1 57,2 9,7 84,9 401 35,9 62,1 2,0 83,8
Journal of Asian Public Policy 68 69,1 16,2 14,7 27,9 107 72,0 22,4 5,6 23,4 152 80,9 18,4 0,7 32,9
International Journal of Housing Policy 132 77,2 11,4 11,4 13,6 220 80,4 15,5 4,1 19,5 271 82,7 16,2 1,1 18,1
З5
Г)
г. Я
St
Источник: рассчитано автором по данным на март 2022 г. *учтены все источники, процитировавшие журнал в текущем году.
Изучение географии авторов статей, в которых были процитированы исследуемые журналы, позволило сделать вывод о том, что в зарубежных изданиях, перешедших из ESCI в SSCI, доля цитирования из национального сегмента составляет в среднем около 30% в китайском издании и не превышает 10% в британском журнале.
В большинстве российских изданий, в том числе в журнале «Социологические исследования», включенном в SSCI, более 70% ссылок принадлежит авторам из России. Исключение составляет журнал Changing Societies & Personalities, выпускаемый Уральским федеральным университетом им. первого Президента России Б.Н. Ельцина (Екатеринбург), доля национального цитирования в котором составляла в 2019-2020 гг. около 30%, а по предварительным данным за 2021 г., она снизилась до 14%. При этом доля цитирования из источников, входящих в основные индексы, растет - с 11% в 2021 г. до 52% в 2022 г. Журнал издается только на английском языке и имеет все атрибуты международного издания: тексты статей не имеют вариантов на русском, метаданные предоставляются также на английском. Однако средний уровень цитирования журнала невысокий: значения двухлетнего рИФ составили 0,146 в 2020 г. и 0,148 в 2021 г. (таблица 6). По мнению экспертов, такие журналы фактически рассчитаны только на англоязычную читательскую аудиторию и на авторов и читателей, говорящих на других родных языках, но хорошо знающих английский язык. При этом подобная модель издания часто связана с потерями цитирования в национальном сегменте [Кириллова 2019, с. 35-36]. Таким образом, низкий уровень цитирования обусловлен, с одной стороны, ограниченной зарубежной аудиторией, с другой - потерями цитирования от российских авторов. Следовательно, чтобы достичь более высоких показателей цитирования в МНБД, редакции журнала необходимо либо существенно расширять аудиторию журнала за рубежом, либо выпускать параллельно русскоязычную версию для увеличения цитирования в национальном сегменте.
В издании «Laboratorium: журнал социальных исследований» доля цитирования из источников, входящих в основные индексы, выросла с 30% в 2021 г. до 50% в 2022 г., а доля внутреннего цитирования сократилась с 73% в 2019 г. до 50% в 2020-м и 54% в 2021 г. Такие результаты обусловлены увеличением международной видимости журнала, что происходит также и благодаря выбранной модели издания с регулярной публикацией выборочных статей на английском языке в каждом выпуске. При этом средний уровень цитируемости журнала остается невысоким: значения двухлетнего рИФ составили 0,135 в 2019 г., 0,099 - в 2020 г. и 0,152 - в 2021 г. (таблица 6). Темпы роста значений рИФ, сложившиеся за три года, не достаточны для того, чтобы в ближайшей перспективе журнал достиг показателей изданий из SSCI 2-го квартиля.
Полученные результаты коррелируют с выводами исследования, посвященного оценке состояния российских экономических журналов, включенных в ESCI, в ходе которого удалось установить, что для большинства российских журналов задачи по достижению соответствия критериям воздействия в WoS представляются трудновыполнимыми в краткосрочной и даже среднесрочной перспективе [Третьякова 2021].
Библиометрические показатели журналов в системе оценки научных результатов
Научная политика, осуществляемая сегодня в русле менеджеризма, зависимого от показателей влияния [Curry 2018], предполагает использование для оценки научных результатов иерархических классов индикаторов, которые объединяют журналы на основе ранжирования по значениям импакт-показателей [Viiu, Päunescu 2021, p. 1501]. В ежегодно выпускаемых JCR и SCImago Journal Rank предлагается классификация, в которой издания относятся к одному из четырех квартилей: Q1, Q2, Q3 и Q4. Журналы 1-го квартиля считаются самыми влиятельными [Bornmann, Marx 2014, p. 496], издания 2-го квартиля - более влиятельными по сравнению с журналами 3-го квартиля, а периодика из 4-го квартиля оценивается как обладающая наименьшим «импактом» [Viiu, Päunescu 2021, p. 1501].
Появление квартальных метрик часто связывают с работой ученых М. Магри и А. Солари, которые предложили метод агрегирования количественных данных, ежегодно предоставляемых JCR. Распределенные на четыре группы журналы были обозначены как издания с низким, средним, высоким и крайне высоким уровнем влияния. Границы групп стали эталонной системой, с помощью которой можно быстро расположить данный журнал в общей совокупности JCR [Magri, Solari 1996]. Метрики получили широкое распространение в различных институциональных условиях, связанных с оценкой исследований, несмотря на то, что их использование для оценки отдельных статей, опубликованных в журнале, и заслуг ученых оспаривалось в экспертной среде [Viiu, Päunescu 2021]. Так, в Китае размеры денежных вознаграждений за статьи в журналах ранга Q1 и Q2 из МНБД WoS существенно превышают выплаты за публикации в журналах нижних квартилей и могут быть равны годовой зарплате начинающего профессора [Quan et al. 2017]. Сложившаяся в последние годы система вознаграждения российских ученых также основывается на учете публикаций в журналах, индексируемых в МНБД WoS и Scopus, при этом размеры стимулирующих выплат находятся в зависимости от квартиля журнала [Губа 2022, с. 55].
Важно учитывать, что значение квартиля относительное: оно зависит от принадлежности журнала к тематическим категориям в МНБД. Так как издание может относиться сразу к нескольким из них, его квартиль также может варьироваться [Viiu, Päunescu 2021, p. 1496]. Кроме того, квартальные ранги одних и тех же изданий в разных МНБД могут различаться.
Результаты сопоставительного анализа показателей российских социологических журналов в международных базах данных свидетельствуют, что позиции этих изданий в МНБД Scopus в целом более высокие, чем в МНБД Web of Science. В основном это связано с тем, что в WoS большинство журналов входит в новый указатель ESCI, где для них не рассчитываются значения импакт-фактора и не производится ранжирование по квартилям в Journal Citation Report. В то же время в МНБД Scopus российские журналы, имея сопоставимый уровень цитируемости с их показателями в WoS, добились более значимых результатов, поскольку для них рассчитываются показатели, по которым они ранжируются в рейтинге SJR. Несколько изданий уже достигли 2-го квартиля.
Такой эффект может быть обусловлен различиями в охвате МНБД. Установлено, что Scopus значительно расширил охват русскоязычных изданий: примерно
три четверти журналов из России, включенных в эту базу в 2016 г., не было проиндексировано в 2012 г. Значительный рост связан и с увеличением индексации статей, использующих русский язык в качестве языка публикации: доля таких статей выросла с 4,8 до 14,8% за 2006-2016 гг. [Moed et al. 2018, p. 1170]. Эксперты оценивают совокупные годовые темпы роста количества статей и обзоров (показатель CAGR) из России за 2006-2016 гг. на 80% выше в МНБД Scopus по сравнению с WoS. Первенство Scopus над WoS по показателю CAGR количества статей наблюдается в большинстве дисциплин, особенно в экономике, социальных науках, искусстве и гуманитарных науках [Moed et al. 2018, p. 1170]. Расширение круга российских журналов в МНБД Scopus положительно влияет на показатели цитируемости и продвижение изданий в квартильном рейтинге. Таким образом, можно заключить, что на сегодняшний день в МНБД Scopus сформировались более благоприятные условия для российских журналов в сравнении с МНБД WoS, в которой установлены труднодостижимые для журналов критерии воздействия, применяемые при оценке изданий для включения в основные индексы.
При этом существующие различия не учитываются в действующей системе оценки научных результатов. Среди целевых показателей Национального проекта «Наука» заявлены число статей по приоритетам научно-технологического развития в журналах 1-го и 2-го квартилей, индексируемых в WoS и Scopus, а также численность российских ученых, имеющих статьи в научных изданиях 1-го и 2-го квартилей, включенных в МНБД12. При равном учете публикаций из журналов, индексируемых в WoS и Scopus, большинство изданий, которые вошли в Scopus, в отличие от журналов, включенных в WoS, получают больший вес, более высокий статус как имеющие ранг по квартилю, несмотря на то, что уровень цитирования журнала может быть выше в WoS.
Мы выявили, что среди российских социологических журналов пять изданий: «Социологические исследования», «Мир России. Социология. Этнология», «Журнал исследований социальной политики», «Экономическая социология», «Вестник Российского университета дружбы народов. Серия: Социология» - по показателю SJR (Scopus) относится к журналам 2-го квартиля. Еще два журнала - «Социологическое обозрение» и Changing Societies & Personalities - причислены к изданиям 3-го квартиля в тематических категориях Social Sciences (miscellaneous) и Cultural Studies. В то же время в МНБД WoS только журнал «Социологические исследования» имеет значение квартиля Q4, тогда как остальные издания не ранжируются по этим показателям, хотя уровень, характеризующий среднюю цитируемость статьи, у всех этих изданий в МНБД WoS выше либо равен уровню цитируемости в Scopus. Таким образом, мы видим, что один и тот же журнал при равнозначном уровне ци-тируемости может иметь высокое значение квартиля в одной базе данных и не иметь его в другом журнальном указателе. Поскольку в действующей системе учета публикационных показателей приоритет в оценке получают статьи из квартильных журналов, на практике мы можем столкнуться с парадоксом, когда статья, опубликованная в более высокоцитируемом журнале, но индексируемом, например, в ESCI (WoS) и не имеющем квартиля, будет оценена ниже по сравнению с публикацией, вышедшей в любом из журналов, включенных в МНБД Scopus, либо не будет принята к учету вообще в тех случаях, когда требуются показатели из журналов рангом Q1—Q2.
12 Национальный проект «Наука» // http://static.government.ru/media/files/UraNEEbOnbjocoMLPOnnJZx4OT20Siei.pdf, дата обращения 30.06.2022.
Еще одна проблема использования квартальных метрик связана с отнесением журналов схожей направленности к разным тематическим категориям внутри одной МНБД. При этом нередки случаи, когда журналы различаются по значению квартиля только потому, что находятся в разных категориях. Например, издания Changing Societies & Personalities и «Laboratorium: журнал социальных исследований» имеют примерно равные значения SJR в 2020 г. - 0,117 и 0,136 соответственно. Однако первый относится к изданиям 3-го квартиля в категории Cultural Studies и 4-го квартиля в категории Sociology and Political Science, а второй - только к 4-му квартилю в категории Social Sciences (miscellaneous). В действующей системе оценки, например, в отчетах по госзаданиям, учитывается значение более высокого квартиля. Таким образом, издания сходной тематики, имеющие примерно одинаковый уровень цитирования, могут оцениваться по-разному.
Ориентация систем премирования в научных организациях и вузах на квар-тильные журналы, а также превалирование среди них изданий, включенных в Scopus, могут нацеливать ученых на выбор журналов, входящих именно в эту базу данных. Негативные эффекты сложившейся ситуации заключаются в искусственном перераспределении публикационных потоков между МНБД WoS и Scopus и оттоке качественных статей из журналов, входящих в новый указатель цитирования ESCI, что еще сильнее затрудняет решение задач российских журналов по продвижению и улучшению позиций в МНБД WoS.
Выводы о несовершенстве квартильных метрик подтверждаются результатами некоторых исследований, авторы которых предлагают ослабить давление квартилей журналов на работу исследователей [Дежина, Сорокин 2022, с. 85] и даже полностью отказаться от использования квартилей, создающих заблуждения в восприятии значений импакт-фактора журналов как самостоятельного метода оценки исследований [Viiu, Päunescu 2021, p. 1498].
Заключение
Результаты проведенной оценки состояния российских социологических журналов выявили ряд проблем, общих для журналов социально-гуманитарного профиля. Российские издания оказались в условиях неравной конкуренции с научными журналами крупнейших международных издательств, существенно уступая им по уровню цитируемости и критериям воздействия (качеству и влиятельности источников цитирования) в международных базах данных. Если в МНБД Scopus некоторые отечественные журналы достигли довольно высоких позиций в своих тематических категориях, то в МНБД Web of Science эти же издания занимают низкие позиции по сравнению с зарубежными журналами из основного указателя.
Для достижения показателей, которые позволят российским журналам занять конкурентоспособные позиции относительно ведущих зарубежных изданий, необходимы серьезные усилия по улучшению доступности публикуемых материалов для международного научного сообщества. Эффективной мерой может стать выпуск качественных полнотекстовых версий статей на английском языке и размещение их в открытом доступе. Несмотря на то, что данные факторы не всегда выступают определяющими для повышения международной видимости национальных
изданий, доступ по подписке и отсутствие полных текстов статей на английском языке могут создавать барьеры для продвижения журналов в МНБД [Третьякова 2021]. В условиях ограниченных ресурсов, которыми располагают издатели, данная задача может быть решена путем создания единой некоммерческой платформы для выпуска ведущих российских журналов на английском языке, при этом права на журналы важно сохранить за издающими их организациями. Финансирование подобной платформы из федеральных источников могло бы стать частью системы государственной поддержки научной периодики, запрос на которую сформировался в последнее время.
С целью поддержания и усиления конкурентоспособности российской науки важно не просто сохранить уже сформировавшийся сегмент изданий мирового уровня, но и создать дополнительные условия для укрепления его позиции в мировом информационном пространстве. Журналы, получившие международную сертификацию за счет включения в МНБД, должны оцениваться как ведущие издания, отвечающие высоким стандартам качества. Помимо журналов, индексируемых в МНБД, необходимо отобрать научную периодику, которая составит ядро национального сегмента. Предлагаемые на сегодняшний день готовые решения в виде перечней журналов из RCSI, РИНЦ, списка ВАК и других, на наш взгляд, в полной мере не пригодны в силу выявленных недостатков при их формировании [Балацкий и др. 2021; Kassian, Melikhova 2019; Mazov et al. 2018; Sterligov 2018; Tretyakova 2020]. Важно выработать прозрачные критерии отбора изданий, чтобы создать национальную базу российской периодики с учетом передовых международных стандартов. Пороговые библиометрические критерии могут включать показатели, характеризующие не только уровень, но и качество цитирующих источников. Для экспертной оценки, на наш взгляд, пригодны индикаторы, по которым отбираются журналы в международные базы. С целью нивелирования негативных эффектов недобросовестной конкуренции и конфликта интересов, неизбежных при привлечении экспертов, необходимо сформировать институт независимой оценки научной периодики, и в качестве переходной меры может быть создана некая кон-сенсусная группа, которая была бы легитимна в глазах научного сообщества.
При корректировке действующей системы оценки научной результативности в России необходимо учесть результаты исследований, выявивших недостатки уже сформированных перечней журналов, а также отрицательные эффекты использования некоторых показателей. Полученные выводы подтверждают нецелесообразность применения квартальных метрик, принятых в МНБД как самостоятельного метода оценки исследований. Образующиеся перекосы в оценке публикаций, связанные с различиями в системах ранжирования изданий по квартилям в МНБД WoS и Scopus, а также обусловленные распределением журналов одного профиля по разным тематическим категориям внутри МНБД, могут быть устранены за счет использования механизмов, позволяющих устанавливать адекватные соответствия между наборами библиометрических данных в разных МНБД. Для этого нужно подобрать инструменты, которые дадут возможность агрегировать показатели журналов из разных МНБД и строить общую оценку на основе некоторых интегральных индикаторов. Устранение существующих изъянов в новой системе оценки результативности научных исследований поможет обеспечить условия для эффективной работы научных коллективов, роста уровня российских научных журналов, укрепления их позиций в национальном и международном пространстве.
Список источников
Акоев М.А., Москалева О.В. (2020) Прогноз развития российских научных журналов: индексация в международных указателях цитирования (Scopus) // Наука и научная информация. Т. 3. № 1. С. 64-84. DOI: 10.24108/2658-3143-2020-3-1-64-84 Балацкий Е.В., Екимова Н.А., Третьякова О.В. (2021) Методы оценки качества научных экономических журналов // Journal of Institutional Studies. Т. 13. № 2. С. 27-52. DOI: 10.17835/2076-6297.2021.13.2.027-052 Бородик К.А., Дикусар К.С., Богатов В.В. (2021) Тренды публикационной активности российских исследователей за период 2016-2020 гг. по данным международных баз научного цитирования Web of Science Core Collection и Scopus // Управление наукой и наукометрия. Т. 16. № 4. С. 571-595. DOI: 10.33873/2686-6706.2021.16-4.571-595 Губа К.С. (2022) Наукометрические показатели в оценке российских университетов: обзор исследований //Мир России. Т. 31. № 1. С. 49-73. DOI: 10.17323/1811-038X-2022-31-1-49-73 Дежина И.Г. (2021) «Выбор победителей» в современной научной политике России // Вопросы государственного и муниципального управления. № 3. С. 53-74 // https://www.hse.ru/data/2021/09/24/1472651079/PAI_3-2021(3).pdf, дата обращения 30.06.2022. Дежина И.Г., Сорокин А.Н. (2022) Проект 5-100 в восприятии сотрудников университетов // Мир России. Т. 31. № 1. С. 74-90. DOI: 10.17323/1811-038X-2022-31-1-74-90 Иванчик А.И. (2018) Особенности оценки исследователей и исследовательских программ в гуманитарных науках // Вестник Российской академии наук. Т. 88. № 11. С. 985-991. DOI: 10.31857/S086958730002331-2 Кириллова О.В. (2019) Как научному журналу сохранить родной язык и охватить англоязычную аудиторию // Научный редактор и издатель. Т. 4. № 1-2. С. 34-44. DOI: 10.24069/2542-0267-2019-1-2-34-44 Максимов С.В. (2021) «Дорожная карта» развития конкуренции в сфере науки (теоретическая модель) // Российское конкурентное право и экономика. № 3. С. 8-21. DOI: 10.47361/2542-0259-2021-3-27-8-21 Маркусова В.А. (2016) Библиометрические характеристики российской науки в новом указателе Emerging Sources Citation Index // Информационные процессы и системы. № 11. С. 24-31 // https://Ub.herzen.spb.ru/media/elres/markusova_esci.pdf, дата обращения 30.06.2022. Москалева О.В. (2014) Научные публикации как средство коммуникации, анализа и оценки научной деятельности // Акоев М.А., Макрусова В.А., Москалева О.В., Писляков В.В. Руководство по наукометрии: индикаторы развития науки и технологии: монография. Екатеринбург: Уральский федеральный университет. С. 110-163. Москалева О.В., Акоев М.А. (2020) Прогноз развития российских научных журналов: индексация в международных указателях цитирования (платформа Web of Science) // Наука и научная информация. Т. 3. № 1. С. 30-63. DOI: 10.24108/2658-3143-2020-3-1-30-63 Паршин А.Н. (2018) Наука или библиометрия: кто кого? // Вестник Российской академии
наук. Т. 88. № 11. С. 982-984. DOI: 10.31857/S086958730002330-1 Тамбовцев В.Л. (2018) О научной обоснованности научной политики в РФ // Вопросы экономики. № 2. С. 5-32. DOI: 10.32609/0042-8736-2018-2-5-32 Третьякова О.В. (2021) Российские экономические журналы в ESCI: ретроспектива и прогноз //TerraEconomicus. Т. 19. № 4. С. 92-109. DOI: 10.18522/2073-6606-2021-19-4-92-109 Трубникова Е.И. (2020) Проект 5-100: взгляд через призму теории институциональной коррупции // Мир России. Т. 29. № 2. С. 72-91. DOI: 10.17323/1811-038X-2020-29-2-72-91 Balatsky E.V., Ekimova N.A. (2021) A Revolution in the Russian Segment of the International Market of Economics Journals // Herald of the Russian Academy of Sciences, vol. 91, no 4, pp. 454-463. DOI: 10.1134/S1019331621040109 Bornmann L., Haunschild R. (2018) Plots for Visualizing Paper Impact and Journal Impact of Single Researchers in a Single Graph // Scientometrics, vol. 115, no 1, pp. 385-394. DOI: 10.1007/s11192-018-2658-1
Bornmann L., Marx W. (2014) How to Evaluate Individual Researchers Working in the Natural and Life Sciences Meaningfully? A Proposal of Methods Based on Percentiles of Citations // Scientometrics, vol. 98, no 1, pp. 487-509. DOI: 10.1007/s11192-013-1161-y Bornmann L., Marx W., Gasparyan A., Kitas G. (2012) Diversity, Value and Limitations of the Journal Impact Factor and Alternative Metrics // Rheumatology International, vol. 32, no 7, pp. 1861-1867. DOI: 10.1007/s00296-011-2276-1 Chirikov I. (2021) Does Conflict of Interest Distort Global University Rankings? // UC Berkeley: Center for Studies in Higher Education. Research & Occasional Paper Series: CSHE.5.2021.
Curry S. (2018) Let's Move beyond the Rhetoric: It's Time to Change How We Judge Research //
Nature, vol. 554, no 7691, p. 147. DOI: 10.1038/d41586-018-01642-w Di Bitetti M., Ferreras J. (2017) Publish (in English) or Perish: The Effect on Citation Rate of Using Languages Other than English in Scientific Publications // Ambio, vol. 46, no 1, pp. 121-127. DOI: 10.1007/s13280-016-0820-7 Garfield E. (1955) Citation Indexes to Science: a New Dimension in Documentation through Association of Ideas // Science, vol. 122, no 3159, pp. 108-111 // https://garfield.library.upenn.edu/papers/science1955.pdf, дата обращения 30.06.2022. Garfield E. (2009) The Evolution of the Science Citation Index // Contributions to Science,
vol. 5, no 1, pp. 63-70. DOI: 10.2436/20.7010.01.60 González-Alcaide G., Valderrama-Zurián J., Aleixandre-Benavent R. (2012) The Impact Factor in non-English-speaking Countries // Scientometrics, vol. 92, no 2, pp. 297-311. DOI: 10.1007/s11192-012-0692-y Hoeffel C. (1998) Journal Impact Factors (Letter) // Allergy, vol. 53, no 12, p. 1225.
DOI: 10.1111/j.1398-9995.1998.tb03848.x Kassian A., Melikhova L. (2019) Russian Science Citation Index on the WoS Platform: A Critical Assessment // Journal of Documentation, vol. 75, no 5, pp. 1162-1168. DOI: 10.1108/JD-02-2019-0033 Kosyakov D., Guskov A. (2019) Impact of National Science Policy on Academic Migration and Research Productivity in Russia // Procedia Computer Science, vol. 146, pp. 60-71. DOI: 10.1016/j.procs.2019.01.080 Lawrence P.A. (2008) Lost in Publication: How Measurement Harms Science // Ethics in Science
and Environmental Politics, vol. 8, pp. 9-11. DOI: 10.3354/esep00079 Magri M.H., Solari A. (1996) The SCI Journal Citation Reports: A Potential Tool for Studying
Journals? // Scientometrics, vol. 35, no 1, pp. 93-117. DOI: 10.1007/BF02018235 Mazov N.A., Gureev VN., Kalenov N.E. (2018) Some Assessments of the List of Journals in the Russian Science Citation Index // Herald of the Russian Academy of Sciences, vol. 88, no 2, pp. 133-141. DOI: 10.1134/S1019331618020053 Moed H. (2017) Applied Evaluative Informetrics, Amsterdam: Springer. Moed H., Markusova V., Akoev M. (2018) Trends in Russian Research Output Indexed in Scopus and Web of Science // Scientometrics, vol. 116, no 2, pp. 1153-1180. DOI: 10.1007/s11192-018-2769-8 Quan W., Chen B., Shu F. (2017) Publish or Impoverish an Investigation of the Monetary Reward System of Science in China (1999-2016) // Aslib Journal of Information Management, vol. 69, no 5, pp. 486-502. DOI: 10.1108/AJIM-01-2017-0014 Steele C., Butler L., Kingsley D. (2006) The Publishing Imperative: the Pervasive Influence of Publication Metrics // Learned Publishing, vol. 19, no 4, pp. 277-290. DOI: 10.1087/095315106778690751 Sterligov I. (2018) Why Blacklists Matter // Higher Education in Russia and Beyond, no 3(17), pp. 14-17.
Tretyakova O.V. (2020) Assessing RSCI Economics Journals in the Context of Creating a National Citation Index // Herald of the Russian Academy of Sciences, vol. 90, no 2, pp. 251-265. DOI: 10.1134/S1019331620020173 Vîiu GA., Pâunescu M. (2021) The Lack of Meaningful Boundary Differences Between Journal Impact Factor Quartiles Undermines Their Independent Use in Research Evaluation // Scientometrics, vol. 126, no 2, pp. 1495-1525. DOI: 10.1007/s11192-020-03801-1
Yu Z., Ma Z., Wang H. et al. (2020) Communication value of English-language S&T Academic Journals in Non-native English Language Countries // Scientometrics, vol. 125, no 2, pp. 1389-1402. DOI: 10.1007/s11192-020-03594-3
Russian Sociological Journals
in International Scientometric Databases:
What Should Be Taken into Account in a New Evaluation System
O.V. TRETYAKOVA*
*Olga V. Tretyakova - PhD in Philology, Leading Research Associate, Head of the Department of Editorial-and-Publishing Activity and Science-Information Support, Vologda Research Center of the Russian Academy of Sciences, Vologda, Russian Federation, olga.tretyackova@yandex.ru, https://orcid.org/0000-0002-2429-0503
Citation: Tretyakova O.V. (2022) Russian Sociological Journals in International Scientometric Databases: What Should Be Taken into Account in a New Evaluation System. Mir Rossii, vol. 31, no 4, pp. 100-121 (in Russian). DOI: 10.17323/1811-038X-2022-31-4-100-121
Abstract
The development of a national academic research evaluation system increases the relevance ofbibliometric indicators for evaluating the quality of academic publications. The evaluation of journals included in international databases deserves special attention. This article analyzes the Russian sociological journals which are currently indexed in the Web of Science and Scopus, using their citation parameters. We find that journals can belong to different quartiles while having no comparable differences in their citation level. The qualitative analysis of citation sources reveals that some publications do not fully meet the impact criteria used for the most influential journals. This hinders their inclusion in the main database of the Social Sciences Citation Index. Our findings have practical implications for the choice of criteria to evaluate academic journals. We also identify the negative effects ofthe formalized use ofquartile metrics for assessing the impact of academic research and propose mechanisms for their elimination.
Keywords: sociological journals, bibliometric indicators, impact factor, international scientometric databases, Web of Science, Scopus
References
Akoev M.A., Moskaleva O.V (2020) Forecast of the Development of Russian Scientic Journals: Indexation in International Citation Indexes (Scopus). Scholarly Research and Information, vol. 3, no 1, pp. 64-84 (in Russian). DOI: 10.24108/2658-3143-2020-3-1-64-84
This article was published as part of the HSE University project "University Partnership", to support publications by authors of Russian educational and scientific organizations.
The article was received in April 2022.
Balatsky E.V., Ekimova N.A. (2021) A Revolution in the Russian Segment of the International Market of Economics Journals. Herald of the Russian Academy of Sciences, vol. 91, no 4, pp. 454-463. DOI: 10.1134/S1019331621040109 Balatsky E.V., Ekimova N.A., Tretyackova O.V (2021) Evaluation Methods of Scientific Economic Journals Quality. Journal of Institutional Studies, vol. 13, no 2, pp. 27-52 (in Russian). DOI: 10.17835/2076-6297.2021.13.2.027-052 Bornmann L., Haunschild R. (2018) Plots for Visualizing Paper Impact and Journal Impact of Single Researchers in a Single Graph. Scientometrics, vol. 115, no 1, pp. 385-394. DOI: 10.1007/s11192-018-2658-1 Bornmann L., Marx W. (2014) How to Evaluate Individual Researchers Working in the Natural and Life Sciences Meaningfully? A Proposal of Methods Based on Percentiles of Citations. Scientometrics, vol. 98, no 1, pp. 487-509. DOI: 10.1007/s11192-013-1161-y Bornmann L., Marx W., Gasparyan A., Kitas G. (2012) Diversity, Value and Limitations of the Journal Impact Factor and Alternative Metrics. Rheumatology International, vol. 32, no 7, pp. 1861-1867. DOI: 10.1007/s00296-011-2276-1 Borodik K.A., Dikusar K.S., Bogatov V.V. (2021) Publication Activity Trends among Russian Researchers in 2016-2020, Based on International Scientific Citation Databases: Web of Science Core Collection and Scopus. Science Governance and Scientometrics, vol. 16, no 4, pp. 571-595 (in Russian). DOI: 10.33873/2686-6706.2021.16-4.571-595 Chirikov I. (2021) Does Conflict of Interest Distort Global University Rankings? UC Berkeley: Centerfor Studies in Higher Education. Research & Occasional Paper Series: CSHE.5.2021. Curry S. (2018) Let's Move beyond the Rhetoric: It's Time to Change How We Judge Research.
Nature, vol. 554, no 7691, p. 147. DOI: 10.1038/d41586-018-01642-w Dezhina I.G. (2021) Picking Winners in Modern Russian Science Policy. Public Administration Issues, no 3, pp. 53-74. Available at: https://www.hse.ru/data/2021/09/24/1472651079/ PAI_3-2021(3).pdf, accessed 30.06.2022 (in Russian). Dezhina I.G., Sorokin A.N. (2022) The Perception of the Project 5-100 by University Employees.
Mir Rossii, vol. 31, no 1, pp. 74-90 (in Russian). DOI: 10.17323/1811-038X-2022-31-1-74-90 Di Bitetti M., Ferreras J. (2017) Publish (in English) or Perish: The Effect on Citation Rate of Using Languages Other than English in Scientific Publications. Ambio, vol. 46, no 1, pp. 121-127. DOI: 10.1007/s13280-016-0820-7 Garfield E. (1955) Citation Indexes to Science: a New Dimension in Documentation through Association of Ideas. Science, vol. 122, no 3159, pp. 108-111. Available at: https://garfield.library.upenn.edu/papers/science1955.pdf, accessed 30.06.2022. Garfield E. (2009) The Evolution of the Science Citation Index. Contributions to Science, vol. 5,
no 1, pp. 63-70. DOI: 10.2436/20.7010.01.60 González-Alcaide G., Valderrama-Zurián J., Aleixandre-Benavent R. (2012) The Impact Factor in non-English-speaking Countries. Scientometrics, vol. 92, no 2, pp. 297-311. DOI: 10.1007/s11192-012-0692-y GubaK.S. (2022) Scientometric Indicators inthe EvaluationofRussianUniversities:ALiterature Review.
Mir Rossii, vol. 31, no 1, pp. 49-73 (in Russian). DOI: 10.17323/1811-038X-2022-31-1-49-73 Hoeffel C. (1998) Journal Impact Factors (Letter). Allergy, vol. 53, no 12, p. 1225.
DOI: 10.1111/j.1398-9995.1998.tb03848.x Ivanchik A.I. (2018) Particular Properties of Evaluation of Researchers and Research Programs in the Humanities. Herald of the Russian Academy of Sciences, vol. 88, no 11, pp. 985-991 (in Russian). DOI: 10.31857/S086958730002331-2 Kassian A., Melikhova L. (2019) Russian Science Citation Index on the WoS Platform: A Critical Assessment. Journal of Documentation, vol. 75, no 5, pp. 1162-1168. DOI: 10.1108/JD-02-2019-0033 Kirillova O.V. (2019) Preserving National Language and Reaching out English-Speaking Audience of a Scholarly Journal. Nauchnyi Redaktor i Izdatel ' = Science Editor and Publisher, vol. 4, no 1-2, pp. 34-44 (in Russian). DOI: 10.24069/2542-0267-2019-1-2-34-44 Kosyakov D., Guskov A. (2019) Impact of National Science Policy on Academic Migration and Research Productivity in Russia. Procedia Computer Science, vol. 146, pp. 60-71. DOI: 10.1016/j.procs.2019.01.080
Lawrence P.A. (2008) Lost in Publication: How Measurement Harms Science. Ethics in Science
and Environmental Politics, vol. 8, pp. 9-11. DOI: 10.3354/esep00079 Magri M.H., Solari A. (1996) The SCI Journal Citation Reports: A Potential Tool for Studying
Journals? Scientometrics, vol. 35, no 1, pp. 93-117. DOI: 10.1007/BF02018235 Maksimov S.V. (2021) "Roadmap" for the Development of Competition in the Field of Science (Theoretical Model). Russian Competition Law and Economy, no 3, pp. 8-21 (in Russian). DOI: 10.47361/2542-0259-2021-3-27-8-21 Markusova V. (2016) Bibliometric Characteristics of Russian Science in the Emerging Sources Citation Index. Informatsionnye protsessy i sistemy / Information Processes and Systems, no 11, pp. 24-31. Available at: https://lib.herzen.spb.ru/media/elres/markusova_esci.pdf, accessed 30.06.2022 (in Russian). Mazov N.A., Gureev V.N., Kalenov N.E. (2018) Some Assessments of the List of Journals in the Russian Science Citation Index. Herald of the Russian Academy of Sciences, vol. 88, no 2, pp. 133-141. DOI: 10.1134/S1019331618020053 Moed H. (2017) Applied Evaluative Informetrics, Amsterdam: Springer. Moed H., Markusova V., Akoev M. (2018) Trends in Russian Research Output Indexed in Scopus and Web of Science. Scientometrics, vol. 116, no 2, pp. 1153-1180. DOI: 10.1007/s11192-018-2769-8 Moskaleva O.V. (2014) Scientific Publications as a Means of Communication, Analysis and Evaluation of Scientific Activity. AkoevM.A., Makrusova VA., Moskaleva O.V, Pislyakov V.V. Guide to Scientometry: Indicators of the Development of Science and Technology: Monograph, Yekaterinburg: Ural Federal University, pp. 110-163 (in Russian). Moskaleva O., Akoev M. (2020) Forecast of the Development of Russian Scientific Journals: Indexing in International Citation Indexes (Web of Science Platform). Scholarly Research and Information, vol. 3, no 1, pp. 30-63 (in Russian). DOI: 10.24108/2658-3143-2020-3-1-30-63 Parshin A.N. (2018) Science or Bibliometry: Who Will Win? Herald of the Russian Academy of
Sciences, vol. 88, no 11, pp. 982-984 (in Russian). DOI: 10.31857/S086958730002330-1 Quan W., Chen B., Shu F. (2017) Publish or Impoverish an Investigation of the Monetary Reward System of Science in China (1999-2016). Aslib Journal of Information Management, vol. 69, no 5, pp. 486-502. DOI: 10.1108/AJIM-01-2017-0014 Steele C., Butler L., Kingsley D. (2006) The Publishing Imperative: the Pervasive Influence of Publication Metrics. Learned Publishing, vol. 19, no 4, pp. 277-290. DOI: 10.1087/095315106778690751 Sterligov I. (2018) Why Blacklists Matter. Higher Education in Russia and Beyond, no 3(17), pp. 14-17.
Tambovtsev V.L. (2018) On Scientific Validity of Russian Science Policy. Voprosy ekonomiki,
no 2, pp. 5-32 (in Russian). DOI: 10.32609/0042-8736-2018-2-5-32 Tretyakova O.V (2020) Assessing RSCI Economics Journals in the Context of Creating a National Citation Index. Herald of the Russian Academy of Sciences, vol. 90, no 2, pp. 251-265. DOI: 10.1134/S1019331620020173 Tretyakova O.V. (2021) Russian Economic Journals in the ESCI: Retrospective Overview and Forecast. Terra Economicus, vol. 19, no 4, pp. 92-109 (in Russian). DOI: 10.18522/2073-6606-2021-19-4-92-109 Trubnikova E. (2020) Project 5-100: A View through the Prism of the Theory of Institutional Corruption. Mir Rossii, vol. 29, no 2, pp. 72-91 (in Russian). DOI: 10.17323/1811-038X-2020-29-2-72-91 Vîiu GA., Päunescu M. (2021) The Lack of Meaningful Boundary Differences Between Journal Impact Factor Quartiles Undermines Their Independent Use in Research Evaluation. Scientometrics, vol. 126, no 2, pp. 1495-1525. DOI: 10.1007/s11192-020-03801-1 Yu Z., Ma Z., Wang H. et al. (2020) Communication value of English-language S&T Academic Journals in Non-native English Language Countries. Scientometrics, vol. 125, no 2, pp. 1389-1402. DOI: 10.1007/s11192-020-03594-3
