CC BY
8УДК 001.893
Шихалев Д. В., Хабибулин Р. Ш.
ОЦЕНКА НАУКОМЕТРИЧЕСКИХ ПОКАЗАТЕЛЕЙ ОБРАЗОВАТЕЛЬНЫХ И НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ ОРГАНИЗАЦИЙ МЧС РОССИИ
В статье рассмотрен ряд наукометрических показателей образовательных и научно-исследовательских организаций МЧС России, представленных в информационно-аналитической системе Science Index. Проведен аналитический и статистический анализ показателей, характеризующих научную активность. Сделаны выводы по результатам публикаций авторов в рецензируемых журналах Высшей аттестационной комиссии России, журналах международных баз индексирования.
Ключевые слова: наукометрия, цитирование, образовательная организация, российский индекс научного цитирования, публикационная активность.
Научные исследования наряду с образовательной деятельностью являются неотъемлемой частью функционирования образовательных и научно-исследовательских организаций. Наукометрические показатели, определяющие публикационную активность организаций, позволяют провести оценку эффективности научного труда на основе объективных данных, размещённых в открытых электронных библиотеках и базах данных.
В современной научной среде уделяется немало внимания теоретическим аспектам наукометрии [1-4] и другим аспектам публикационной активности [5-9]. В отношении публикационной активности образовательных организаций МЧС России опубликовано небольшое количество работ [10-11]. В статье [11] рассматривается публикационная активность и наукометрические показатели журнальных статей образовательных организаций МЧС России. Авторы предлагают оценивать публикационную деятельность организации с помощью предложенного ими обобщенного инновационного показателя. Показатель включает в себя количество нормализованных цитирований. Это понятие предлагается авторами и вычисляется как разница между общим числом цитирований и количеством самоцитирований, которое, по мнению авторов, не должно превышать 20 %. Воспроизведение данного показателя вызывает затруднение, так как не очевидно, каким образом осуществляется расчёт переменных, входящих в данный показатель. Преимуществами применения наукометрических показателей для оценки публикационной активности являются доступность большого количества данных для оценок и объективность исходных данных. В связи с этим в статье для анализа используют-
ся показатели зарекомендовавшей себя открытой информационно-аналитической системы Science Index, с помощью которой проводилась оценка наукометрических показателей, базирующейся на российском индексе научного цитирования, охватывающим все публикации электронной научной библиотеки eLIBRARY.RU.
Цель исследования - оценка наукометрических показателей образовательных и научно-исследовательских организаций МЧС России, которая позволит получить следующие сведения:
- публикационная активность сотрудников организаций;
- уровень публикаций, которые выполняют сотрудники;
- международная публикационная активность.
В ходе оценки наукометрических показателей рассматривались образовательные и научно-исследовательские организации МЧС России (организации), а именно: Академия ГПС (АГПС), Санкт-Петербургский университет ГПС (СПбУГПС), Ивановская пожарно-спасательная академия ГПС (ИПСАГПС), Воронежский институт ГПС (ВИГПС), Уральский институт ГПС (УИГПС), Всероссийский ордена «Знак Почёта» научно-исследовательский институт противопожарной обороны (ВНИИПО), Всероссийский научно-исследовательский институт по проблемам гражданской обороны и чрезвычайных ситуаций (ВНИИ ГОЧС) и Академия гражданской защиты (АГЗ).
Обновление данных о публикационной активности у всех рассматриваемых организаций было выполнено с 18 по 20 декабря 2016 г. Выборка данных для анализа осуществлялась в период с 26 по 30 декабря 2016 г. Таким образом, все организации находились в равных условиях.
Термины и определения, характерные для системы Science Index
* eUBRARY.RU - электронная научная библиотека, содержащая публикации (научные статьи, монографии, тезисы конференций, депонированные рукописи и др.) российских учёных;
* Российский индекс научного цитирования (РИНЦ) -информационно-аналитическая система, включающая свыше 9 млн публикаций российских учёных и сведения о цитировании данных публикаций из российских журналов (в РИНЦ входят 5 122 российских журнала);
* ядро РИНЦ - выборка лучших журналов входящих в RSCI, Web of Science Core Collection или Scopus;
* Russian Science Citation Index (RSCI) - отдельная база данных лучших российских журналов, интегрированная в платформу Web of Science (в RSCI входят 652 журнала; необходимо отметить, что в перечень журналов, рекомендованных Высшей аттестационной комиссией России (ВАК) для публикации результатов исследования, включены 2 582 журнала);
* Журнал ВАК - рецензируемый научный журнал, включённый Высшей аттестационной комиссией России в список изданий, рекомендуемых для опубликования основных научных результатов диссертации на соискание учёной степени кандидата и доктора наук;
* Web of Science and Scopus (WoSS) - международные базы данных научного цитирования;
* индекс Хирша организации - количественный показатель продуктивности организации. Если индекс Хирша равен 10, значит организация имеет 10 статей, на каждую из которых сослались не менее 10 раз, а остальные статьи имеют число цитирований не более 10;
* импакт-фактор - количественный показатель важности научного журнала, отражающий среднее число цитирований одной статьи в журнале. Показатель рассчитывается как отношение количества цитирований в n-м году к количеству публикаций за два предыдущих года. Если импакт-фактор равен 1,5, это означает, что каждая статья в рассматриваемом журнале за последние 3 года цитировалась не менее 1,5 раз.
В начале исследования проведён анализ общих показателей публикационной активности организаций с момента учёта первых работ организации в РИНЦ (табл. 1).
Данные свидетельствуют, что лидером по числу публикаций, числу цитирований и индексу Хирша является АГПС, затем - СПбУГПС и ВНИИ ГОЧС.
Необходимо отметить, что большое количество публикаций не всегда определяет их цен-
ность. Так, у ВИГПС практически на 1 000 публикаций больше чем у УИГПС, однако индекс Хирша у них одинаков, который является показателем продуктивности организации. Аналогичная ситуация у АГЗ и ИПСАГПС.
Если рассматривать производительность авторов (количество публикаций на одного автора), то лидером является ВИГПС - 9,01, далее АГПС -8,97 и СПбУГПС - 6,52. Количество работ не является определяющим показателем, он демонстрирует публикационную активность организации, но не качество самих работ.
Представленные данные можно охарактеризовать как «грубые», так как представлены за очень большой период времени. Вероятнее всего, публикаций было больше, однако они могли быть не индексированы и в настоящее время не отображены, тем не менее, все организации находятся в равных условиях.
Для более тщательного анализа рассматривались показатели публикационной активности организации с 2011 по 2015 гг. в отношении количества публикаций и журналов, где они были опубликованы (табл. 2). Кроме того, необходимо отметить, что проект РИНЦ был запущен в 2006 г., и, как следствие, началась более скрупулёзная работа в организациях по учёту публикаций, цитирований и вычислению других наукометрических показателей. При анализе не учитывался 2016 г., так как массив публикаций в РИНЦ на момент написания статьи еще полностью не был сформирован.
По данным таблицы 2 лидерами публикационной активности с 2011 по 2015 гг. являются АГПС, СПбУГПС и ВИГПС; отношение количества публикаций на одного автора выглядит следующим образом: ВИГПС - 7,7, АГПС - 5,84 и СПбУГПС - 5,0. Необходимо отметить, что отношение количества публикаций на одного автора
Таблица 1
Общие показатели публикационной активности организаций
Наименование организации Число публикаций в РИНЦ Число цитирований в РИНЦ Индекс Хирша Число авторов Год первой публикации*
АГПС 3 560 5 488 26 397 1979
СПбУГПС 2 893 2 893 22 444 1999
ВНИИ ГОЧС 1 890 1 500 15 369 1988
ВИГПС 1 657 1 021 14 184 1997
ВНИИПО 1 333 1 361 13 253 1976
АГЗ 1 172 521 8 212 1997
ИПСАГПС 690 425 8 137 2004
УИГПС 667 999 14 176 2005
Примечание: * - по данным электронной научной библиотеки eLIBRARY.RU
Таблица 2
Показатели публикационной активности организаций в РИНЦ
Наименование организации Число публикаций Число цитирований Число авторов Число статей в российских журналах из перечня ВАК Число статей в журналах, входящих в RSCI Число статей в журналах, входящих в ядро РИНЦ Число статей в журналах, входящих в Web of Science или Scopus
АГПС 1 899 1 477 325 715 187 232 53
СПбУГПС 1 828 1 403 365 218 25 27 2
ВИГПС 1 376 594 121 211 31 33 8
ВНИИ ГОЧС 1 067 515 178 494 17 18 1
АГЗ 638 194 154 358 4 5 2
ВНИИПО 592 185 209 351 34 34 1
УИГПС 454 664 285 182 106 107 3
ИПСАГПС 379 117 175 127 35 53 18
за 5 лет снизилось у всех рассматриваемых организаций в среднем на 30 %.
Как было указано ранее, количество публикаций организации говорит лишь о публикационной активности её сотрудников. Так, кроме научных журналов в РИНЦ входят сборники конференций, отчеты по научно-исследовательским работам, патенты, авторские свидетельства и др. В исследовании в качестве критериев по оценке важности и значимости публикаций применялись следующие показатели:
- статьи в журналах, входящих в Web of Science или Scopus,
- статьи в журналах, входящих в RSCI,
- статьи в журналах ВАК.
Данные факторы позволяют утверждать, что публикации в таких журналах имеют определённый научный результат.
На рисунке 1 показано распределение с 2011 по 2015 гг. количества публикаций, статей в журналах ВАК.
Результаты анализа показали, что доля статей в журналах ВАК значительно меньше в сравнении с общим количеством публикаций. Так, среднее отношение статей в журналах ВАК к общему количеству публикаций составляет 0,38, т. е. только каждая третья публикация прошла полноценное рецензирование.
Если рассматривать отношение статей в журналах, входящих в Russian Science Citation Index (RSCI), и статей в журналах, входящих в Web of Science или Scopus к общему количеству публикаций, то положение выглядит следующим образом: среднее количество публикаций в журналах, входящих в Russian Science Citation Index (RSCI), составляет 0,07 (рис. 2). Это значит, что только 7 %
Рисунок 1. Публикационная активность организации: ■ - общее количество публикаций; ■ - количество статей в журналах ВАК
2 000 1 800 1 600 1 400 1 200 1 000 800 600 400 200 0
АГПС
СПбУГПС
ИПСАГПС ВИГПС УИГПС Организация
ВНИИПО ВНИИГОЧС
4 2 АГЗ
Рисунок 2. Публикационная активность в ядре РИНЦ: количество публикаций; ■ - количество статей в RSCI; ■ - количество статей в WoSS
научных результатов (статьи в кратком описании) сотрудников организаций будут доступны для зарубежных исследователей. Если рассматривать публикационную активность в зарубежных изданиях, то только 3 % от общего количества всех публикаций будут доступны для зарубежных учёных.
Рассмотрим средневзвешенный импакт-фактор журналов, в которых опубликованы статьи (рис. 3). Данный показатель - один из критериев престижности журнала в научном отношении. Например, ИПСАГПС публиковала свои работы в журналах со средневзвешенным импакт-фактором, равным 0,243. Следовательно, ИПСАГПС следует ожидать 243 цитирования на каждую 1 000 публикаций за рассматриваемый период времени (2011-2015 гг.).
В настоящее время по разделу Государственного рубрикатора научно-технической информации (ГРНТИ) «Общие и комплексные проблемы технических и прикладных наук и отраслей народного
хозяйства» представлены лишь два журнала, входящие в Я801 и имеющие импакт-фактор выше 0,3:
- Журнал «Пожаровзрывобезопасность» (импакт-фактор РИНЦ 2014 - 0,400);
- Журнал «Безопасность в техносфере» (импакт-фактор РИНЦ 2014 - 0,326).
Далее анализировалось цитирование опубликованных работ. На рисунке 4 показано распределение среднего числа цитирований в расчёте на одного автора.
Из рисунка 4 следует вывод о наличии двух явных групп: в одной группе приходится по 3-4 цитирования на одного автора (АГПС, СПбУГПС, ВИГПС и УИГПС), а в другой - 1-2 (ИПСАГПС, ВНИИПО, ВНИИ ГОЧС и АГЗ).
Довольно часто авторы прибегают к практике самоцитирования для повышения своих наукометрических показателей, и лишь в редких случаях, самоцитирование осуществляется во вновь открываемых областях исследования (рис. 5).
Гистограмма на рисунке 5 показывает, что у большинства организаций довольно большой процент самоцитирования. Однако необходимо провести разграничение между самоцитированием конкретного автора и самоцитированием организации. Например, два независимых автора работают в одной организации и ведут свои исследования в близких областях. Если один из авторов даст ссылку на публикацию другого, то это учитывается как самоцитирование. Противоположная ситуация: один автор ссылается на свои же работы, повышая тем самым свои показатели. Однозначно утверждать, что количество самоцитирований организации является важным показателем при проведении анализа, нельзя, так как нет точных границ допустимых значений. В ряде ведущих вузов России, например, в Московском государственном университете им. М. В. Ломоносова количество самоцитирований составляет 25,7 %, в Санкт-Петербургском государственном университете - 32,9 %, в Московском государственном техническом университете им. Н. Э. Баумана - 52,1 %.
Проведённый анализ наукометрических показателей образовательных и научно-исследовательских организаций МЧС России позволил авторам статьи систематизировать информацию об активности учёных, а также сделать ряд важных выводов:
- во-первых, на основе объективных, достоверных и воспроизводимых данных определены организации, занимающие лидирующие позиции по количеству публикаций и их цитируемости: АГПС, УИГПС и СПбУГПС;
80 70
60 50
£ 40 —
о
5 30 —
20 — 10 —
49,7
20,2
35,9
49
68,4
38,4
59,6
30,4
о о
а а
< >
\о с
о
< о
^ о
X ZT
1 о со
£3 <
Организация
Рисунок 5. Количество самоцитирований организаций
- во-вторых, выявлен низкий уровень доли публикаций авторов в рецензируемых журналах: только каждая третья публикация является статьей в рецензируемом научном журнале;
- в-третьих, публикации авторов в журналах международных баз индексирования достигают лишь 3 % от общего числа, учитывая, что данный показатель напрямую влияет на рейтинг образовательных и научно-исследовательских организаций.
В ходе дальнейших исследований планируется провести анализ активности организаций в получении стороннего финансирования от различных научных фондов, и определить направления совершенствования научной деятельности в образовательных и научно-исследовательских организациях МЧС России.
0
ЛИТЕРАТУРА
1. Налимов В. В., Мульченко З. М. Наукометрия. Изучение развития науки как информационного процесса. Монография. -М.: Наука, 1969. - 192 с.
2. Осипов Г. В., Миндели Л. Э. Наука и инновации: стандарты измерения, методология, международные сопоставления. -Том 1. - М.: ФГБУН ИСПИ РАН, 2016. - 432 с.
3. Mannella R, Rossi P. On the time dependence of the h-index // Journal of Informetrics, January 2013, vol. 7, issue 1, pp. 176-182. D0I:10.1016/j.joi.2012.10.003.
4. Yu L, Yongliang Y. Empirical study of L-Sequence: The basic h-index sequence for cumulative publications with consideration of the yearly citation performance // Journal of Informetrics, July 2014, vol. 8, issue 3, pp. 478-485. DOI: 10.1016/j.joi.2014.03.002.
5. Сухенко Н. В. Проблемы стратегического развития вузов: контент-анализ публикаций // Высшее образование в России. - 2012. - № 1. - С. 3-11.
6. Солнышков М. Е. Педагогическая наукометрия: история, теория, практика. Монография / под ред. Е. А. Михайлычева. -Таганрог: Российский гос. социальный ун-т, 2009. - 244 с.
7. Nicolas R., Evaristo J., Daniel T. Analyzing data citation practices using the data citation index // Journal of the Association for Information Science and Technology, December 2016, vol. 67, issue 12, pp. 2964-2975. DOI: 10.1002/asi.23529.
8. Hirsch J. E., Gualberto B. The meaning of the h-index // International Journal of Clinical and Health Psychology, May 2014, vol. 14, issue 2, pp. 161-164. DOI: 10.1016/S1697-2600(14)70050-X.
9. Perianes-Rodrigueza A, Ruiz-Castillob J. A comparison of the Web of Science and publication-level classification systems of science // Journal of Informetrics, February 2017, vol. 11, issue 1, pp. 32-45. DOI: 10.1016/j.joi.2016.10.007.
10. Артамонов А. С., Евдокимов В. И., Стебунов С. В. Публикационная деятельность и наукометрические показатели журнальных статей образовательных организаций МЧС России // Научные и образовательные проблемы гражданской защиты. - 2016. - № 1 (28). - С. 84-93.
11. Евдокимов В. И. Наукометрические показатели и публикационная активность сотрудников МЧС России по данным российского индекса научного цитирования (2005-2014 гг.) // Медико-биологические и социально-психологические проблемы безопасности в чрезвычайных ситуациях. - 2015. - № 4. -С. 91-102.
12. Миркин Б. Г., Новиков Д. А., Орлов А. И., Чеботарева П. Ю. О понятии научного вклада и его измерителях // Сборник статей «Наукометрия и экспертиза в управлении наукой». -М.: ИПУ РАН, 2013. - С. 292-307.
Материал поступил в редакцию 30 января 2017 года.
Shikhalev D., Khabibulin R.
ASSESSMENT OF SCIENTOMETRIC INDICATORS IN EDUCATIONAL AND RESEARCH INSTITUTIONS OF EMERCOM OF RUSSIA
ABSTRACT
Purpose. The analysis of scientometric indicators in educational and research institutions of EMERCOM of Russia has been held. The estimation of publication activity of employees has been carried out and areas of concern have been defined.
Methods. Statistical and analytical methods have been applied in the research.
Findings. It has been defined that only every third article in educational organizations is published in peer-reviewed journals. Moreover, low level of international publication activity has been identified.
Research application field. The results of the research work can be applied in the process of making
managerial decisions in educational and research institutions of EMERCOM of Russia to improve the level of scientific research.
Conclusions. The analysis of scientometric indicators let systematize scientific activity of the employees.
Key words: scientometrics, citation, educational organization, Russian Science Citation Index, publication activity.
REFERENCES
1. Nalimov V.V., Mul'chenko Z.M. Naukometriia. Izuchenie razvitiia nauki kak informatsionnogo protsessa [Scientometrics. A study of the development of science as an information process]. Moscow, Nauka, 1969. 192 p.
2. Osipov G.V., Mindeli L.E. Nauka i innovatsii: standarty izmereniia, metodologiia, mezhdunarodnye sopostavleniia. - Tom 1. [Science and innovation: standards of measurement, methodology, international comparison. - Vol. 1]. Moscow, Federal State Institution of Science Institute of Social and Political Research of the Russian Academy of Sciences, 2016. 432 p.
3. Mannella R., Rossi P. On the time dependence of the h-index // Journal of Informetrics, January 2013, vol. 7, issue 1, pp. 176-182. DOI:10.1016/j.joi.2012.10.003.
4. Yu L., Yongliang Y. Empirical study of L-Sequence: The basic h-index sequence for cumulative publications with consideration of the yearly citation performance // Journal of Informetrics, July 2014, vol. 8, issue 3, pp. 478-485. DOI: 10.1016/j.joi.2014.03.002.
5. Sukhenko N.V. Problems of strategic development of universities: content analysis of publication. Vysshee obrazovanie v Rossii, 2012, no. 1, pp. 3-11.
6. Solnyshkov M.E. Pedagogicheskaia naukometriia: istoriia, teoriia, praktika [Pedagogical scientometrics: history, theory, practice. Ed. by Mikhailycheva E.A.]. Taganrog, Russian State Social University, 2009. 244 p.
7. Nicolas R., Evaristo J., Daniel T. Analyzing data citation practices using the data citation index // Journal of the Association
for Information Science and Technology, December 2016, vol. 67, issue 12, pp. 2964-2975. DOI: 10.1002/asi.23529.
8. Hirsch J.E., Gualberto B. The meaning of the h-index // International Journal of Clinical and Health Psychology, May 2014, vol. 14, issue 2, pp. 161-164. DOI: 10.1016/S1697-2600(14)70050-X
9. Perianes-Rodrigueza A., Ruiz-Castillob J. A comparison of the Web of Science and publication-level classification systems of science // Journal of Informetrics, February 2017, vol. 11, issue 1, pp. 32-45. DOI: 10.1016/j.joi.2016.10.007
10. Artamonov V., Evdokimov V., Stebunov S. Publication activities and scientometric indices of journal articles educational organizations of EMERCOM of Russia. Nauchnye i obrazovatefnye problemy grazhdanskoizashchity, 2016, no. 1 (28), pp. 84-93.
11. Evdokimov V.I. Scientometric indices and publication activity of employees of EMERCOM of Russia according to the Russian Science Citation Index (2005-2014). Mediko-biologicheskie i sotsial'no-psikhologicheskie problemy bezopasnosti v chrezvychainykh situatsiiakh, 2015, no. 4, pp. 91-102.
12. Mirkin B.G., Novikov D.A., Orlov A.I., Chebotareva P.Yu. O poniatii nauchnogo vklada i ego izmeriteliakh [Notion of research impact and current indexes for scoring it. Collection of articles "Scientometric and expert methods in research management"]. Moscow, V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Science, 2013, pp. 292-307.
DENis Shikhalev Renat Khabibulin
Candidate of Technical Science
State Fire Academy of EMERCOM of Russia, Moscow, Russia
Candidate of Technical Science, Associate Professor State Fire Academy of EMERCOM of Russia, Moscow, Russia
