CC BY
49DOI 10. 15826/umpa.2018.03.024
ПРИМЕНЕНИЕ НАУКОМЕТРИЧЕСКИХ ПОКАЗАТЕЛЕЙ ДЛЯ СРАВНИТЕЛЬНОЙ ХАРАКТЕРИСТИКИ МЕДИЦИНСКИХ ВУЗОВ РОССИИ
М. Б. Хрусталев, А. А. Максимова, А. В. Тишков, Н. Ю. Турбина
Первый Санкт-Петербургский государственный медицинский университет имени академика И. П. Павлова Россия, 197022, г. Санкт-Петербург, ул. Л. Толстого, 6-8; [email protected]
Ключевые слова: публикационная активность, индекс цитирования, индекс Хирша, медицинские вузы, ядро РИНЦ, Scopus, Web of Science.
Целью настоящего исследования является сравнение наукометрических показателей, полученных из разных баз данных, и изучение возможности их применения для оценки результативности научной деятельности крупнейших медицинских вузов России.
Были проанализированы сведения о публикациях сотрудников 20 крупнейших медицинских вузов Российской Федерации за пять лет: количество статей, количество цитирований статей, индекс Хирша вуза. Источниками стали база данных Российского индекса научного цитирования (РИНЦ) (отдельно учитывались публикации в журналах, входящих в ядро РИНЦ), база данных Scopus и база данных Web of Science (WоS). На основании полученных данных было проведено ранжирование организаций по ряду наукометрических показателей, с помощью коэффициентов ранговой корреляции была установлена связь между различными показателями.
Была выявлена корреляция между различными показателями публикационной активности в базах WoS и Scopus. Не выявлено значимой корреляции данных, полученных при анализе цитируемости публикаций в ядре РИНЦ, с данными, полученными при анализе цитируемости в международных базах WoS и Scopus. Корреляции с показателями в других базах и ядром РИНЦ также выявлено не было.
Исследование было ограничено только медицинскими вузами России, результаты не могут быть использованы для сравнения показателей в других областях наук.
Для анализа публикационной активности медицинских вузов возможно применение баз данных (БД) Scopus, WoS. Показатели, рассчитанные на основе цитируемости журналов, входящих как в РИНЦ, так и отдельно в ядро РИНЦ, не могут быть применены для характеристики интенсивности научных исследований на международном уровне. Следует с осторожностью использовать показатели, полученные на основе данных РИНЦ, в сочетании с показателями, полученными из БД Scopus и WoS. Вызывает также сомнение объективность рейтинга медицинских университетов, в основе которого лежит использование данных из РИНЦ.
Впервые методом статистического анализа были установлены связи или их отсутствие между показателями цитируемости в различных БД. Результаты исследования могут быть использованы при составлении рейтингов медицинских вузов по результатам научной деятельности.
Введение
Многие исследователи, социологи и специалисты по управлению научными исследованиями с тревогой наблюдают за повсеместным неправильным применением показателей для оценки научных результатов. По всему миру университеты уделяют особое внимание своим местам в глобальных и предметных рейтингах (например, в Quacquarelli Symonds, Shanghai Ranking и в рейтинге Times Higher Education), даже если такие рейтинги основаны на неточных данных и произвольных показателях [1].
При условии, что исследовательские институты будут продолжать конкурировать за места в международных рейтингах, интересно проанализировать стратегии, направленные на улучшение позиции учреждения в этих рейтингах. Вероятно, наиболее очевидным будет усиление
сотрудничества между научно-исследовательскими институтами (НИИ) и университетскими исследователями. Многие НИИ уже имеют тесные связи с университетами. Это относится не только к НИИ, проводящим исследования в области медицины, но и к НИИ, проводящим исследования в области материаловедения и инженерных наук. Многие из них расположены в университетских городках. Профессорско-преподавательский состав (ППС) и аспиранты могут совмещать работу в НИИ и университете. Эта тенденция наблюдается не только в России, но и в мире [2].
В Российской Федерации требования к высшим учебным заведениям, реализующим образовательные программы, содержат достижение показателей по количеству цитирований и значению индекса Хирша в наукоме-
трических системах WoS, Scopus и РИНЦ. Для выполнения этих требований вузам была поставлена цель: построить систему мониторинга и управления публикационной активностью ППС университета, позволяющую достигнуть требуемых значений показателей публикационной активности, включенных в перечень для заказа контрольных цифр приема, требования конкурсов на финансирование научных проектов, перечень показателей ежегодного мониторинга вузов, перечень показателей для членов диссертационных советов и требованиями ФГОС3+ для организаций, реализующих магистерские программы [3].
При этом проведение научной работы является неотъемлемой частью подготовки аспирантов, а значит, и обязательным компонентом работы вуза. Научно-исследовательская работа рассматривается как наиболее трудоемкая, являющаяся действенным инструментом привлечения финансовых активов и обеспечивающая высокую квалификацию ППС [4].
Научно-исследовательская работа рассматривается как наиболее трудоемкая, являющаяся действенным инструментом привлечения финансовых активов и обеспечивающая высокую квалификацию ППС [4].
Для оценки результативности научной деятельности ученых и организаций чаще всего используют такие простые показатели, как количество опубликованных работ, общее количество их цитирований и среднее количество цитирований на одну публикацию. Если сравнивать данные показатели за конкретный период времени и в одной и той же области, то можно более или менее адекватно построить рейтинг ученых, а дополнительное нормирование для организаций на количество ученых позволит построить и рейтинг организаций по их совокупной научной продуктивности [5]. Нами были изучены показатели публикационной активности медицинских вузов, полученные из разных баз данных.
Подготовка медицинских кадров проводится образовательными организациями высшего образования, в числе которых имеется 46 вузов Министерства здравоохранения Российской Федерации, 36 медицинских факультетов Министерства образования и науки Российской Федерации, 2 Правительственных, 8 негосударственных, 4 субъектовых, 2 вуза Министерства спорта Российской Федерации [6].
Объем выпуска в среднем в год составляет 35 000 человек, из них 22 000 человек, обучавшихся на бюджетной основе.
По количеству студентов среди медицинских вузов лидерами является Первый Московский государственный медицинский университет им. И. М. Сеченова и Российский национальный исследовательский медицинский университет им. Н. И. Пирогова, в каждом из которых обучается более 10 000 студентов [7]. В подавляющем большинстве вузов количество студентов -от 2000 до 6000 человек (табл. 1)
Таблица 1
Численность студентов крупнейших медицинских вузов России, чел.
Число студентов Число вузов
>10000 2
9000-9999 0
8000-8999 0
7000-7999 1
6000-6999 3
5000-5999 8
4000-4999 13
3000-3999 11
2000-2999 7
1000-1999 1
<999 4
Основной формой подготовки научных и научно-педагогических кадров в научно-исследовательских организациях, образовательных организациях высшего и дополнительного профессионального образования является аспирантура. В медицинских вузах обучаются 77,4 % аспирантов [8].
Косвенным признаком, отражающим интенсивность и качество проводимой научной работы, является публикационная активность сотрудников.
Для анализа и оценки публикационной активности во всем мире используются специализированные индексы цитирования и реферативные базы данных.
База данных по цитированию журнальных публикаций (индекс цитирования) - это специализированный информационный продукт, в котором собирается и обрабатывается полная библиографическая информация о журнальных статьях, аннотации и пристатейные списки цитируемой в статьях литературы. С их помощью можно проводить эффективный масштабный поиск библиографии по интересующей теме или предмету.
Наиболее популярными в России зарубежными наукометрическими ресурсами являются
WoS компании Clarivate Analytics и Scopus компании Elsevier.
База данных Scopus издательства Elsevier представлена в сети «Интернет» с ноября 2004 г. и является на данный момент самой крупной реферативной базой данных. В ней содержатся статьи, а также материалы конференций и другие опубликованные источники начиная с 1966 г., общим количеством более 28 миллионов документов (http://www.el sevierscience. ru/products/scopus). На сегодняшний день в базе данных Scopus индексируются материалы более 22 800 академических журналов, более 5000 издательств из 105 стран, более 145 000 книг и более 25 млн патентных записей. По данным на 2018 г., в Scopus индексируется 473 российских журналов, а с 2015 г. помимо международного экспертного совета по отбору данных Scopus, функционирует Российский совет по отбору данных Scopus, обеспечивающий большее внимание к российским научным журналам. В базе данных Scopus имеется возможность получения полной информации по цитированию статей, а также можно получать статистическую информацию по цитированию статей конкретных авторов, организаций, журналов [9].
Web of Science Core Collection еще одна из ведущих баз данных цитирований в мире. Она содержит записи статей из наиболее влиятельных журналов в мире, в том числе из журналов, находящихся в открытом доступе, из материалов конференций, а также записи книг с 1900 г. Авторитетная Web of Science Core Collection - политематическая реферативно-библиографическая и наукометрическая (библиометрическая) база данных. В ней индексируются более 18 000 журналов, а также более 70 000 названий конференций, более 71 000 научных монографий. Общий объем записей - свыше 64 миллионов. Данные о публикациях и цитировании за более чем 115 лет.
Создание РИНЦ стало новым этапом в развитии отечественных электронных ресурсов для науки и образования, с систематическим продвижением в сети «Интернет» российских научных изданий, созданием национальной библиографической базы данных по научной периодике, разработкой инструментария и сервисов для аналитики, науко- и библиометрических исследований и измерений научной деятельности [10].
Помимо библиографической и цитатной информации, в РИНЦ включены сведения об авторах публикаций и организациях, в которых они работают.
Сегодня на основании данных, имеющихся в свободном доступе в системе РИНЦ, можно сде-
лать вывод о наличии и крепости научных связей (частота и постоянство соавторства); направлении научных исследований и их динамике; рейтинге цитирования авторов, сотрудничающих с конкретным учреждением (высшим учебным заведением, научно-исследовательским институтом и пр.); индексе Хирша; общем числе статей, опубликованных сотрудниками учебного заведения (количественный вклад в науку) и пр. [11]. Основные задачи РИНЦ -это разработка механизмов и инструментария для статистического анализа отечественной науки и создание Единого реестра публикаций российских ученых (независимо от источника, времени, места и типа публикации). Эти сведения помогают проводить объективную оценку деятельности различных научно-образовательных организаций, научных коллективов и отдельных исследователей [12].
Анализ публикационной активности российских исследователей в научных журналах, индексируемых в БД WоS говорит о том, что за период 2013-2015 гг. наблюдается устойчивый рост количества статей российских исследователей и доли этих публикаций в общемировом объеме научных статей. Основной вклад в публикационную активность Российской Федерации вносят ученые организаций, подведомственных Федеральному агентству научных организаций Российской Федерации и Министерства образования и науки Российской Федерации. Вклад организаций, подведомственных Министерству здравоохранения Российской Федерации, составил в эти годы 3-4 %. Распределение научных статей российских исследователей по типам организаций показало, что основная доля статей приходится на научные организации, однако образовательные организации высшего образования, занимая второе место, демонстрируют более высокий прирост публикационной активности по годам [13].
В дополнение к числу опубликованных статей количество цитирований традиционно считается важным наукометрическим показателем. Поэтому они используются для оценки исследователей, исследовательских отделов, университетов и журналов [14].
По этим показателям можно отметить, что тенденции в области информационно-компьютерных технологий и математики отрицательны. В области физики наблюдается активная положительная динамика и рост показателей. Как правило, общественные науки очень активная область исследований, но наукометрические показатели достаточно низкие.
Сегодня не более 12 % российских медицинских публикаций написано на английском языке
и доступно для индексации в международных БД. Из них только 12 % относятся к высокоцитируе-мым, в основном они написаны мультинациональ-ными авторскими коллективами [15].
РИНЦ традиционно используется как источник библиометрической информации о российских научных журналах [16]. Это особенно актуально для тех областей науки, где иностранные базы данных не дают необходимого покрытия, так как индексируют слишком мало российских журналов.
В отличие от ведущих зарубежных баз цитирования, которые отбирали в свои базы данных лучшие издания и публикации, РИНЦ индексировал практически все поступающие на рассмотрение журналы. Основная цель размещения публикаций в базе РИНЦ заключалась в информировании научной общественности, именно поэтому более 3800 научных журналов и 22 млн статей находятся в открытом доступе. Это привело к тому, что в базе РИНЦ появилось много псевдонаучных журналов, ставящих перед собой цель накрутки библиометрических показателей за определенное денежное вознаграждение.
Чтобы преодолеть эти негативные тенденции, в 2015 г. совместно с компанией Clarivate Analytics был запущен проект Russian Science Citation Index. Его целью стало создать базу научных статей из лучших и авторитетных российских журналов на платформе WoS. Научные журналы, принятые в эту базу по результатам экспертизы, а также статьи российских ученых, опубликованные в журналах, индексируемых в WoS Core Collection и Scopus, составляют ядро РИНЦ. В настоящее время в базу данных RSCI входит 619 журналов, а список российских журналов ядра РИНЦ насчитывает 703 [17].
Основная претензия научного сообщества к базам данных касается искажения ключевых показателей: одни журналы входят во многие базы, другие - только в некоторые из них. Исследователи отмечают тот факт, что в отечественных базах данных представлена неполная информация об их реальной публикационной активности. Действительно, деятельность ученого не будет учтена должным образом, если журналы (национальные и интернациональные) не входят в перечень того же WoS. В результате - существенное искажение результатов поиска по научной базе данных при сравнении с реальным числом публикаций [11].
Российские общественные науки слабо представлены в зарубежных базах данных, а потому среднее количество ссылок в статьях этого на-
правления в несколько раз меньше, чем число ссылок в статьях естественнонаучного профиля» [19].
Показатели цитирования научных статей используются, в частности, для формирования рейтинга вузов такими организациями, как QS, THE, Science Index, Эксперт Ра. В рейтинге Science Index среди медицинских вузов России Санкт-Петербургский государственный медицинский университет им. И. П. Павлова находится в первой десятке.
Задачей нашего исследования стало сравнение результативности научной деятельности 20 крупнейших медицинских вузов России по данным зарубежных и отечественных наукометрических ресурсов, а также установление степени корреляции между данными, представленными в различных индексах цитирования.
Материал и методы исследования
В исследование были включены двадцать крупнейших по числу научно-педагогических работников (НПР) медицинских вузов России. Данные о численности кадрового состава были получены из информационно-аналитических материалов по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования за 2017 г. (http://indicators.miccedu. ru/monitoring/?m=vpo). Сведения о публикациях, цитировании и значении индекса Хирша были получены из баз Scopus, Web of Science и Научной электронной библиотеки. Статистическая обработка данных проводилась с помощью MS Excel и PAST (Paleontological Statistics Version 3.20). Было проведено ранжирование крупнейших медицинских вузов по ряду библиометрических показателей и проведена оценка корреляции полученных данных. Оценка корреляционной связи показателей вузов проводилась с использованием коэффициента ранговой корреляции Спирмена. Значимость коэффициента ранговой корреляции устанавливалась путем проверки нулевой гипотезы по таблице критических точек распределения Стьюдента.
Результаты исследования и их обсуждение
Самым крупным медицинским вузом по числу НПР, включая ППС и научных сотрудников (НС), стал Первый Московский государственный медицинский университет им. И. М. Сеченова (1993 человека), минимальное
число сотрудников - в Казанском государственном медицинском университете (409 человек) (табл. 2).
Российская медицинская академия непрерывного профессионального образования и Военно-медицинская академия им. С. М. Кирова были исключены из исследования, в связи с отсутствием данных о кадровом составе и количестве публикаций этих вузов.
С целью изучения эффективности научной деятельности крупных медицинских вузов Российской Федерации были проанализированы публикации сотрудников за пять лет. Были со-
браны данные о количестве статей в рецензируемых журналах, количестве цитирований статей и индексе Хирша вуза. Источниками стала база данных РИНЦ (отдельно учитывались публикации в журналах ядра РИНЦ), база данных Scopus и база данных WоS CC.
На рис. 1 точками показаны вузы, координаты по оси Х соответствуют числу публикаций за период 2013-2017 гг., приходящихся на 1 НПР, не попадающих в ядро РИНЦ, координаты по оси Y соответствуют числу публикаций, приходящихся на 1 НПР, попадающих в ядро РИНЦ.
Таблица 2
Численность научно-педагогических сотрудников, чел.
Название вуза (в порядке уменьшения числа обучающихся) Численность ППС Численность НС Численность НПР
Первый Московский государственный медицинский университет им. И. М. Сеченова 1716 217 1933
Российский национальный исследовательский медицинский университет им. Н. И. Пирогова 1252 215 1467
Волгоградский государственный медицинский университет 795 26 821
Северо-Западный государственный медицинский университет им. И. И. Мечникова 846 30 876
Московский государственный медико-стоматологический университет им. А. И. Евдокимова 1137 47 1184
Первый Санкт-Петербургский государственный медицинский университет им. акад. И. П. Павлова 773 148 921
Башкирский государственный медицинский университет 732 8 740
Сибирский государственный медицинский университет 495 11 506
Саратовский государственный медицинский университет им. В. И. Разумовского 736 23 759
Самарский государственный медицинский университет 504 21 525
Санкт-Петербургский государственный педиатрический медицинский университет 465 13 478
Воронежский государственный медицинский университет им. Н. Н. Бурденко 643 2 645
Ростовский государственный медицинский университет 630 10 640
Приволжский исследовательский медицинский университет (НижГМА) 671 0 671
Казанский государственный медицинский университет 407 2 409
Красноярский государственный медицинский университет им. проф. В. Ф. Войно-Ясенецкого 540 18 558
Уральский государственный медицинский университет 526 40 566
Южно-Уральский государственный медицинский университет 485 10 495
Новосибирский государственный медицинский университет 570 7 577
Рязанский государственный медицинский университет им. акад. И. П. Павлова 496 7 503
Рис. 1. Распределение вузов по числу публикаций в журналах, входящих РИНЦ, на 1 НПР за пять лет
Всего шесть вузов из двадцати (табл. 3) показали уровень числа публикаций на 1 НПР выше линии тренда, характеризующего средний уровень публикационной активности по числу публикаций в ядре РИНЦ.
Это позволяет предположить, что более строгий подход к отбору журналов, включенных в ядро РИНЦ, выделяет те вузы, в которых научные исследования проходят на более высоком и академическом уровне. Тем
Распределение вузов по числу публикаций в журналах, входящих в РИНЦ, на 1 НПР за пять лет, ед.
Таблица 3
Название вуза (в порядке уменьшения числа обучающихся) Число публикаций в журналах, не входящих в ядро РИНЦ Число публикаций в журналах, входящих в ядро РИНЦ Выше линии тренда
Первый Московский государственный медицинский университет им. И. М. Сеченова 9,41 5,81 +
Российский национальный исследовательский медицинский университет им. Н. И. Пирогова 4,20 2,46 +
Волгоградский государственный медицинский университет 34,60 3,66
Северо-Западный государственный медицинский университет им. И. И. Мечникова 5,72 1,74
Московский государственный медико-стоматологический университет им. А. И. Евдокимова 5,29 1,65
Первый Санкт-Петербургский государственный медицинский университет им. акад. И. П. Павлова 2,68 1,22
Башкирский государственный медицинский университет 8,80 1,59
Сибирский государственный медицинский университет 6,20 2,33 +
1
Окончание табл. 3
Название вуза (в порядке уменьшения числа обучающихся) Число публикаций в журналах, не входящих в ядро РИНЦ Число публикаций в журналах, входящих в ядро РИНЦ Выше линии тренда
Саратовский государственный медицинский университет им. В. И. Разумовского 6,87 1,46
Самарский государственный медицинский университет 11,47 1,03
Санкт-Петербургский государственный педиатрический медицинский университет 12,85 3,83 +
Воронежский государственный медицинский университет им. Н. Н. Бурденко 10,33 1,05
Ростовский государственный медицинский университет 5,60 1,06
Приволжский исследовательский медицинский университет (НижГМА) 4,83 1,54
Казанский государственный медицинский университет 9,87 2,67 +
Красноярский государственный медицинский университет им. проф. В. Ф. Войно-Ясенецкого 8,94 2,19 +
Уральский государственный медицинский университет 5,45 0,88
Южно-Уральский государственный медицинский университет 10,61 2,21
Новосибирский государственный медицинский университет 6,34 3,00 +
Рязанский государственный медицинский университет им. акад. И. П. Павлова 11,03 1,68
не менее в числе «отстающих» оказались такие признанные лидеры, как Московский государственный медико-стоматологический университет им А. И. Евдокимова и Первый Санкт-Петербургский государственный медицинский университет им. акад. М. П. Павлова, что не может не удивлять.
Для анализа цитируемости работ сотрудников в РИНЦ вузы были ранжированы по числу цитирований, приведенных к численности НПР в разных базах данных и по уров-
ню индекса Хирша (табл. 4), где Elib - РИНЦ. Scop - Scopus, WoS - Web of Science, H - индекс Хирша.
Была проведена сравнительная оценка уровней индекса Хирша для каждого из вузов по итогам их публикационной активности за пять лет в различных библиометрических базах. Графическое представление уровня этого показателя в различных организациях представлено на гистограмме (рис. 2). В соответствии с полученными данными также производилось ранжиро-
Таблица 4
Сводная таблица рангов цитируемости, приведенной к численности НПР, и результаты ранжирования вузов по индексу Хирша в разных базах данных, ранг
Название вуза (в порядке уменьшения числа обучающихся) Ранг Elib/ НПР Ранг ядро РИНЦ/ НПР Ранг Scop/ НПР Ранг WoS/ НПР Ранг H-Elib Ранг H-SCOPUS Ранг H-WoS
Первый Московский государственный медицинский университет им. И. М. Сеченова 2 2 14 10 1 6 3
Российский национальный исследовательский медицинский университет им. Н. И. Пирогова 13 11 8 4 3 2 1
Окончание табл. 4
Название вуза (в порядке уменьшения числа обучающихся) Ранг ЕНЬ/ НПР Ранг ядро РИНЦ/ НПР Ранг Scop/ НПР Ранг WoS/ НПР Ранг Н-ЕНЬ Ранг Н^СОРШ Ранг
Волгоградский государственный медицинский университет 4 12 19 13 7 18 10
Северо-Западный государственный медицинский университет им. И. И. Мечникова 17 15 13 16 15 11 15
Московский государственный медико-стоматологический университет им. А. И. Евдокимова 15 14 1 1 8 8 2
Первый Санкт-Петербургский государственный медицинский университет им. акад. И. П. Павлова 18 10 7 2 11 11 3
Башкирский государственный медицинский университет 4 1 18 14 4 17 15
Сибирский государственный медицинский университет 7 7 4 6 5 5 3
Саратовский государственный медицинский университет им. В. И. Разумовского 11 9 12 11 14 13 11
Самарский государственный медицинский университет 14 20 10 13 18 8 11
Санкт-Петербургский государственный педиатрический медицинский университет 3 3 6 20 2 7 20
Воронежский государственный медицинский университет им. Н. Н. Бурденко 10 19 19 19 17 19 19
Ростовский государственный медицинский университет 16 18 17 12 20 15 11
Приволжский исследовательский медицинский университет (Ниж-ГМА) 19 13 5 7 16 3 3
Казанский государственный медицинский университет 9 8 2 5 10 1 8
Красноярский государственный медицинский университет им. проф. В. Ф. Войно-Ясенецкого 8 12 9 9 13 8 7
Уральский государственный медицинский университет 20 17 11 15 19 14 14
Южно-Уральский государственный медицинский университет 12 16 16 17 12 16 17
Новосибирский государственный медицинский университет 6 4 3 3 6 4 9
Рязанский государственный медицинский университет им. акад. И. П. Павлова 5 6 20 18 9 20 18
Рис. 2. Уровень индекса Хирша в медицинских вузах в разных базах данных за пятилетний период (2013-2017 гг.)
вание вузов по уровню индекса Хирша в различных базах. Обращает на себя внимание аномально высокий уровень индекса Хирша по данным РИНЦ у Первого Московского государственного медицинского университета им. И. М. Сеченова и Санкт-Петербургского государственного педиатрического медицинского университета, что может свидетельствовать об искусственном завышении этого показателя вузами.
Для установления зависимости между полученными показателями были исследованы корреляции полученных рангов по следующим группам:
Цитируемость на 1 сотрудника: Ранг ЕНЬ/НПР - Ранг Scop/НПР Ранг Scop/НПР - Ранг WoS/НПР Ранг WoS/НПР - Ранг ЕНЬ/НПР Ранг ядро РИНЦ/НПР - Ранг Scop/НПР Ранг ядро РИНЦ/НПР - Ранг WoS/НПР Индекс Хирша: Ранг Н-ЕНЬ - Ранг Н^СОРШ Ранг Н^СОРШ - Ранг H-WoS Ранг Н-ЕНЬ - Ранг H-WoS В связи с тем что нет возможности оценить степень участия каждого конкретного автора из числа НПС в подготовке публикаций для своей организации, а также с тем, что в каждой из реферативных баз используется свой массив журналов для учета публикаций, простое сравнение коэффициентов цитируемости из разных БД
будет некорректным. Поэтому для оценки корреляционной связи показателей вузов использовался коэффициент ранговой корреляции Спирмена. Показатель был определен с помощью программы PAST (Paleontological Statistics Version 3.20). Значимость коэффициента ранговой корреляции устанавливалась путем проверки нулевой гипотезы по таблице критических точек распределения Стьюдента.
Результаты представлены в табл. 5.
Выводы
Значимая корреляция выявлена между различными показателями публикационной активности в базах WoS и Scopus.
1. Корреляции данных, полученных при анализе цитируемости публикаций в ядре РИНЦ, с данными, полученными из международных баз, не выявлено.
2. Корреляция средней цитируемости в ядре РИНЦ определилась только с индексом Хирша в РИНЦ и составила 0,71.
3. Определена значимая корреляция рангов, рассчитанных по индексу Хирша в РИНЦ, с рангами цитируемости как в журналах, входящих в РИНЦ, так и в журналах ядра РИНЦ, при этом показано отсутствие значимой корреляции этих рангов с аналогичными показателями международных систем.
Таблица 5
Значения коэффициентов ранговой корреляции Спирмена для рядов данных (внесены только значимые коээфициенты)
Ранг РИНЦ/НПС Ранг ядро РИНЦ/ НПС Ранг Scop/НПС Ранг WoS/НПС Ранг H-SCOPUS
Ранг РИНЦ/НПС
Ранг ядро РИНЦ/НПС 0,71
Ранг Бсор/НПС
Ранг WoS/НПС 0,70
Ранг Н-РИНЦ 0,73 0,83
Ранг Н^СОРШ 0,84 0,64
Ранг H-WoS 0,59 0,92 0,65
4. Корреляция ранга по индексу Хирша в БД Scopus с рангом по цитируемости, приведенной к численности НПС в БД WoS, составила 0,64, а с рангом цитируемости, приведенной к численности НПС в БД Scopus, - 0,84.
5. Корреляция рангов по индексу Хирша в БД WoS с рангами индекса Хирша в БД Scopus, рангами приведенной цитируемости в БД WoS и Scopus составили 0,65; 0,92 и 0,59 соответственно.
Показатели цитируемости организаций, рассчитанные на основе журналов, входящих в ядро РИНЦ, не выявили существенных различий при ранжировании с идентичными показателями, рассчитанными по всем журналам РИНЦ. При этом обращает на себя внимание следующий факт: среди крупнейших российских медицинских вузов всего у шести из них число публикаций в ядре РИНЦ, приведенных к численности НПР, превышает средний уровень публикационной активности авторов, аффилированных с этими вузами, что говорит о необходимости изменения стратегий направления результатов исследований для публикации.
Обращает на себя внимание аномально высокий уровень индекса Хирша у некоторых вузов, рассчитанный на основании данных РИНЦ. Это позволяет предположить возможность манипуляций с этой группой показателей, что также указывает на возможность получения необъективных результатов в случае их использования.
Необходимо также отметить, что ряд медицинских вузов, лидирующих по показателям цитируемости в международных реферативных базах, не являются лидерами по аналогичным показателям в РИНЦ. В связи с этим следует с осторожностью использовать показатели, полученные на основе данных РИНЦ, в сочетании с показа-
телями, полученными из БД Scopus и WoS для сравнения российских медицинских вузов. Кроме того, вызывает сомнение объективность рейтингов, в основе которых лежит использование данных из РИНЦ.
Таким образом, для анализа публикационной активности и составления рейтингов медицинских вузов Российской Федерации оправдано применение БД Scopus, WoS, что, по-видимому, связано с более строгими требованиями к изданиям, включаемым в эти БД.
Список литературы
1. Hicks D., Wouters P., Waltman L., Rijcke S. de, Rafols I. Bibliometrics: The Leiden Manifesto for Research Metrics, Nature, 2015, vol. 520, iss. 7548, pp. 429-431.
2. Sandström U., Wadskog D., Karlsson S. Research Institutes and Universities: Does Collaboration Pay? In: Ingwersen P., Larsen B. (eds) Proceedings of the 10th International Conference of the International Society for Scientometrics and Informetrics, Stockholm, 2005, pp. 690-691.
3. Логунова О. С., Леднов А. В., Королева В. В. Результаты анализа публикационной активности профессорско-преподавательского состава ФГБОУ ВПО «Магнитогорский государственный технический университет им. Г. И. Носова» // Вестник Магнитогорского государственного технического университета им. Г. И. Носова. 2014. № 3 (47). C. 78-87.
4. Преподавательский труд в современной России: трансформация содержания и оценки / под общ. ред. проф. А. П. Багировой. Екатеринбург: Изд-во Урал. ун-та, 2016. 207 с.
5. Акоев М. А., Маркусова В. А., Москалева О. В., Писляков В. В. Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Изд-во Урал. ун-та, 2014. 250 с.
6. Перспективы развития медицинского и фармацевтического образования в РФ [Электронный ресурс]. URL:
http://conference.apcmed.ru/upload/iblock/03d/Semenova. pdf (дата обращения: 20.04.2018).
7. Вузы России со специальностью лечебное дело -31.05.01 [Электронный ресурс]. URL: http://vuzoteka.ru (дата обращения: 20.04.2018).
8. Шляфер С. И. Оценка состояния кадров медицинской науки российской федерации // Казанский медицинский журнал. 2017. Т. 98. № 1. С. 100-104.
9. Кириллова О. В. Редакционная подготовка научных журналов по международным стандартам. Рекомендации эксперта БД Scopus. Ч. 1. М.: Elsevier, 2013. 90 с.
10. Арефьев П. Г., Еременко Г. О., Глухов В. А. Российский индекс научного цитирования - инструмент для анализа науки // Библиосфера. 2012. № 5. С. 66-71.
11. Ефимова Г. З. Анализ эффективности наукометрических показателей при оценке научной деятельности // Вестник Тюменского государственного университета. Социально-экономические и правовые исследования. 2012. № 8. С. 101-108.
12. Аникеева О. С. Использование индекса научного цитирования в качестве характеристики научно-исследовательской деятельности ученых (Using Scientific Citation Index as Characteristic of Scientists' Research Activity) // Вестник Ставропольского государственного университета. 2009. № 6. С. 5-11.
13. Парфенова С. Л., Гришакина Е. Г., Богатов В. В. Анализ публикационной активности российских
исследователей в научных журналах, индексируемых в международных базах Web of Science // Наука. Инновации. Образование. 2017. № 1 (23). С. 136-148.
14. Hanssen T.-E. SS., J0rgensen F. Citation Counts in Transportation Research, European Transport Research Review, 2014, vol. 6, iss. 2, pp. 205-212.
15. Куракова Н. Г., Цветкова Л. А., Колин С. К. Проблемы оптимизации сети диссертационных советов по медицинским специальностям // Менеджер здравоохранения. 2013. № 7. С. 41-48.
16. Алескеров Ф. Т., Бадгаева Д. Н., Писляков В. В., Стерлигов И. А., Швыдун С. В. Значимость основных российских и международных экономических журналов: сетевой анализ // Журнал Новой экономической ассоциации. 2016. № 2 (30). С. 193-205.
17. Russian Science Citation Index и ядро РИНЦ - текущее состояние, перспективы и возможности использования для оценки научной деятельности [Электронный ресурс]. URL: http://www.library.spbu.ru/blog/wp-ontent/ uploads/2017/11/3_Eremenko-2017_12_15.pdf (дата обращения: 26.06.2018).
18. Беляева С. Авторская работа. Российский индекс научного цитирования поможет оценить деятельность ученого и организации [Электронный ресурс]. URL: http:// www.poisknews.ru/theme/science/3313/?print (дата обращения: 26.06.2018).
DOI 10. 15826/umpa.2018.03.024
APPLICATION OF SCIENTIFIC INDICATORS FOR COMPARATIVE CHARACTERISTICS OF MEDICAL UNIVERSITIES IN RUSSIA
M. B. Khrustalev, A. A. M aksimova, A. V. Tishkov, N. Yu. Turbina
Pavlov University
6-8 L. Tolstogo str., St. Petersburg, 197022, Russian Federation; [email protected]
Keywords: publication activity, citation index, Hirsch index, medical universities, core of RINC, Scopus, Web of Science.
The purpose of this study is to compare the effectiveness of scientific activities of the largest medical universities in Russia on the basis of data from foreign and domestic scientific resources, and to establish the degree of correlation between the data presented in various citation indexes.
The information on publications of employees of the 20 largest medical universities of the Russian Federation for last five years was analyzed: the number of articles, the number of citations of articles and University Hirsch index. The sources were the database of the Russian Scientific Citation Index (RINC) (the publications in the journals included in the core of the RINC were taken into account separately), the Scopus database and the Web Of Science database (WoS). On the basis of the data obtained, the organizations were ranked according to several scientific indicators and correlation between various indicators was established using the coefficients of rank correlation.
Correlation was revealed between different indicators of publication activity in the WoS and Scopus databases. There was no significant correlation between the data obtained in the analysis of citations in the core of the RINC with the data obtained from the analysis of citations in the international databases WoS and Scopus. Correlations with the indexes in other databases and the core of the RINC were also not revealed.
The study was limited only to medical universities of the Russian Federation and the results cannot be used to compare indicators in other fields of science.
To analyze the publication activity of medical universities, the use of databases (DB) Scopus, WoS is possible. The indexes calculated on the basis of the citation of journals included in both the RINC and separately into the core
of the RINC cannot be applied to characterize the intensity of scientific research at the international level. Carefully use indicators derived from RINC data in combination with indicators obtained from the Scopus and WoS databases. It also raises doubts about the objectivity of the ratings of medical universities, which are based on the use of data from the RINC.
For the first time, using the method of statistical analysis were established correlations or their absence between the citation indexes in various databases. The results of the research can be used to compile medical university ratings based on the results of scientific activity
References
1. Hicks D., Wouters P., Waltman L., Rijcke S. de, Rafols I. Bibliometrics: The Leiden Manifesto for Research Metrics, Nature, 2015, vol. 520, iss. 7548, pp. 429-431.
2. Sandstrom U., Wadskog D., Karlsson S. Research Institutes and Universities: Does Collaboration Pay? In: Ingwersen P., Larsen B. (eds) Proceedings of the 10th International Conference of the International Society for Scientometrics and Informetrics, Stockholm, 2005, pp. 690-691.
3. Logunova O. S., Lednov A. V., Koroleva V. V. Rezul'taty analiza publikatsionnoi aktivnosti pro-fessorsko-prepodavatel'skogo sostava FGBOU VPO «Magnitogorskii gosudarstvennyi tekhnicheskii universitet im. G. I. Nosova» [Analysis of the Publication Activity of the Teaching Staff at FSBEI HPE Nosov Magnitogorsk State Technical University]. Vestnik Magnitogorskogo gosudarstvennogo tekhnicheskogo universiteta im. G. I. Nosova [Vestnik of Nosov Magnitogorsk State Technical University], 2014, no. 3 (47), pp. 78-87.
4. Bagirova A. P. (ed.) Prepodavatel'skii trud v sovremen-noi Rossii: transformatsiya soderzhaniya i otsenki [Teaching Work in Modern Russia: Content Transformation], Ekaterinburg, Ural University Press, 2016, 207 p.
5. Akoev M. A., Markusova V. A., Moskaleva O. V., Pislyakov V. V. Rukovodstvo po naukometrii: indikatory razvitiya nauki i tekhnologii [Handbook for Scientometrics: Indicators of Science and Technology Development], Ekaterinburg, Ural University Press, 2014, 250 p.
6. Perspektivy razvitiya meditsinskogo i farmat-sevticheskogo obrazovaniya v RF [Prospects for the Development of Medical and Pharmaceutical Education in the Russian Federation], available at: http://conference.apcmed. ru/upload/iblock/03d/Semenova.pdf (accessed 20.04.2018).
7. Vuzy Rossii so spetsial'nost'yu lechebnoe delo -31.05.01 [Higher Education Institutions of Russia with the Specialty 31.05.01 «Medical Business»], available at: http:// vuzoteka.ru (accessed 04.20.2018).
8. Shljafer S. I. Otsenka sostoyaniya kadrov meditsinskoi nauki rossiiskoi federatsii [Assessment of the State of Medical Scientific Personnel of Russian Federation]. Kazanskii medit-sinskii zhurnal [Kazan Medical Journal], 2017, vol. 98, no. 1, pp. 100-104.
9. Kirillova O. V. Redaktsionnaya podgotovka nauchnykh zhurnalov po mezhdunarodnym standartam. Rekomendatsii eksperta BD Scopus [Editorial Preparation of Scientific Journals according to International Standards: Recommendations of a Scopus Expert]. Moscow, Elsevier, 2013, part 1, 90 p.
10. Arefiev P. G., Eremenko G. O., Glukhov V. A. Rossiiskii indeks nauchnogo tsitirovaniya - instrument dlya analiza nauki [Russian Science Citation Index - a Tool for
Science Analysis]. Bibliosfera [Bibliosphere], 2012, no. 5, pp. 66-71.
11. Efimova G. Z. Analiz effektivnosti nauko-metricheskikh pokazatelei pri otsenke nauchnoi deyatel'nosti [Analysis of Efficiency of Scientific Research Impact Indicators in the Estimation of Scientific Activity]. Vestnik Tyumenskogo gosudarstvennogo universite-ta. Sotsial'no-ekonomicheskie i pravovye issledovani-ya [Tyumen State University Herald. Social, Economic, and Law Research], 2012, no. 8, pp. 101-108.
12. Anikeeva O. S. Ispol'zovanie indeksa nauchnogo tsitirovaniya v kachestve kharakteristiki nauchno-issledovatel'skoi deyatel'nosti uchenykh [Using Scientific Citation Index as Characteristic of Scientists' Research Activity]. Vestnik Stavropol'skogo gosudarstvennogo universiteta [Bulletin of Stavropol State University], 2009, no. 6, pp. 5-11.
13. Parfenova S. L., Grishakina E. G., Bogatov V. V. Analiz publikatsionnoi aktivnosti rossiiskikh issledovatelei v nauchnykh zhurnalakh, indeksiruemykh v mezhdunarodnykh bazakh Web of Science [Analysis of Publication Activity of Russian Researchers in Journals Indexed in Web of Science Database]. Nauka. Innovatsii. Obrazovanie [Science. Innovation. Education], 2017, no. 1 (23), pp. 136-148.
14. Hanssen T.-E. S., J0rgensen F. Citation Counts in Transportation Research, European Transport Research Review, 2014, vol. 6, iss. 2, pp. 205-212.
15. Kurakova N. G., Tsvetkova L. A., Kolin S. K. Problemy optimizatsii seti dissertatsionnykh sovetov po meditsin-skim spetsial'nostyam [Problems Related to Optimization of the Dissertation Committees on Medical Professions]. Menedzher zdravookhraneniya. [Manager of Health Care]. 2013, no. 7, pp. 41-48.
16. Aleskerov F. T., Badgaeva D. N., Pislyakov V. V., Sterligov I. A., Shvydun S. V. Znachimost' osnovnykh ros-siiskikh i mezhdunarodnykh ekonomicheskikh zhurnalov: setevoi analiz [The Importance of Russian and International Economic Journals: a Network Approach]. Zhurnal Novoi ekonomicheskoi assotsiatsii [Journal of the New Economic Association], 2016, no. 2 (30), pp. 193-205.
17. Russian Science Citation Index i yadro RINTs -tekushchee sostoyanie, perspektivy i vozmozhnosti ispol'zovaniya dlya otsenki nauchnoi deyatel'nosti [Russian Science Citation Index and the Core of RSCI - Current State, Prospects and Possibilities of Use for the Evaluation of Scientific Activity], available at: http://www.library.spbu.ru/ blog/wp-content/uploads/2017/11/3_Eremenko-2017_12_15. pdf (accessed 26.06.2018).
18. Belyaeva S. Avtorskaya rabota. Rossiiskii indeks nauchnogo tsitirovaniya pomozhet otsenit' deyatel'nost'
uchenogo i organizatsii [Author's Work. The Russian Index Scientist and an Organization], available at: http://www. of Scientific Citation will Help Evaluate the Activity of a poisknews.ru/theme/science/3313/?print (accessed 26.06.2018).
Информация об авторах / Information about the authors:
Хрусталев Максим Борисович - кандидат медицинских наук, начальник организационно-методического отдела Управления научных исследований Первого Санкт-Петербургского государственного медицинского университета имени академика И. П. Павлова; 8 (812) 338-70-07; [email protected].
Максимова Анна Александровна - кандидат медицинских наук, научный сотрудник организационно-методического отдела Управления научных исследований Первого Санкт-Петербургского государственного медицинского университета имени академика И. П. Павлова; 8 (812) 338-70-07; [email protected].
Тишков Артем Валерьевич - кандидат физико-математических наук, доцент, заведующий кафедрой физики, математики и информатики; Первый Санкт-Петербургский государственный медицинский университет имени академика И. П. Павлова; 8 (812) 338-70-86; [email protected].
Турбина Наталья Юрьевна - научный сотрудник организационно-методического отдела Управления научных исследований Первого Санкт-Петербургского государственного медицинского университета имени академика И. П. Павлова; 8 (812) 338-70-07; [email protected].
Maksim B. Khrustalev - Candidate of Sciences (Medicine), Chief for the Department of Science and Research Administration, Pavlov University; [email protected]; +7 (812) 338-70-07.
Anna A. Maksimova - Candidate of Sciences (Medicine), Scientific Researcher at the Department of Science and Research Administration, Pavlov University; [email protected]; +7 (812) 338-70-07.
Artem V. Tishkov - Candidate of Sciences (Physics and Mathematics), Associate Professor, Chief of the Department of Physics, Mathematics and Informatics, Pavlov University; +7 (812) 338-70-86; [email protected].
Natalia Yu. Turbina - Scientific Researcher at the Department of Science and Research Administration, Pavlov University; +7 (812) 338-7007; [email protected].
