CC BY
545
Организация научно-исследовательской деятельности
© Кабакова Е.А.
ИСПОЛЬЗОВАНИЕ НАУКОМЕТРИЧЕСКИХ ПОКАЗАТЕЛЕЙ ПРИ ОЦЕНКЕ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
КАБАКОВА ЕЛЕНА АЛЕКСЕЕВНА
инженер-исследователь отдела редакционно-издательской деятельности
и научно-информационного обеспечения
Федеральное государственное бюджетное учреждение науки
Институт социально-экономического развития территорий Российской академии наук E-mail: vologdascience@gmail.com
В настоящее время проблема оценивания результативности научной деятельности с помощью наукометрических показателей приобрела особую актуальность, поскольку данные индикаторы совместно с экспертными заключениями стали использоваться на всех этапах процесса управления наукой.
В статье рассмотрены дискуссионные вопросы, появившиеся в последние годы в отношении тенденции широкого применения различных наукометрических показателей для оценки научной деятельности. Представлен обзор основных наукометрических показателей, учитывающих количество публикаций и количество цитирований, как по отдельности, так и совместно. Предпринята попытка дать сравнительную оценку наукометрических показателей учреждений, входящих в состав Секции экономики Отделения общественных наук РАН, по данным Российского индекса научного цитирования. На основе анализа определены пути повышения наукометрических показателей. Обоснована необходимость применения экспертных технологий при оценке эффективности научной деятельности.
Оценка эффективности научной деятельности, наукометрические показатели, Российский индекс научного цитирования (РИНЦ), пути повышения наукометрических показателей.
Оценка научной деятельности как ученых, так и научных организаций - это одна из актуальнейших проблем, решением которой занимались едва ли не с момента зарождения науки. Несмотря на значительный прогресс в развитии науки, ей до сих пор не удалось найти оптимальный способ измерения значимости и качества собственных результатов. Вплоть до начала XX века вклад ученого
в развитие науки оценивался научным сообществом лишь по содержательным качественным критериям, пока занятие наукой было уделом небольшого круга людей. Когда же это стало массовым явлением, выявлять лидеров и оценивать научную деятельность таким способом стало значительно труднее. Сложившаяся ситуация требовала разработки какого-то иного подхода к оценке научной дея-
тельности, которым и стал метод количественной оценки результативности научной деятельности с помощью наукометрических показателей.
На данный момент существует два различных подхода к оценке научной деятельности - экспертный и статистический. Экспертный подход полагается на субъективное восприятие качества работы и имеет два существенных недостатка - влияние человеческого фактора и крайне высокую стоимость. Статистический подход опирается на численные оценки показателей, присущих автору или организации, которые основываются на данных опубликованных материалов и представляют различные аспекты научной деятельности в количественном воплощении. Такие оценки не подвержены влиянию человеческого фактора, но они не могут использоваться без экспертного анализа, так как представляют собой анализ лишь некоторых аспектов работы исследователя или учреждения. Качественные численные показатели крайне востребованы в настоящее время, так как субъективной экспертной оценки подчас бывает недостаточно для принятия решения о величине вклада в науку и перспективности ученого [7, с. 5].
По Приказу Министерства образования и науки Российской Федерации № 161 от 5 марта 2014 года1 были утверждены типовое положение о комиссии по
1 «Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» [Электронный ресурс] : Приказ Министерства образования и науки Российской Федерации № 161 от 5 марта 2014 года. - Режим доступа : http://www.rg.ru/2014/07/18/obr-dok.html
оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовая методика оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологичес кие работы гражданского назначения. Целями проведения оценки результативности деятельности научных организаций являются формирование эффективной системы научных организаций, увеличение их вклада в социально-экономическое развитие страны, развитие международного сотрудничества в сфере науки, повышение престижа российской науки в обществе, а также повышение качества принятия управленческих решений в сфере науки.
Возросший интерес к наукометрическим показателям вызван в первую очередь возможностью автоматизации процесса оценивания с использованием программных средств авторитетных баз данных: Web of Science, Scopus, Google Scholar, Astrophysics, PubMed, Mathematics, Chemical Abstracts, Agris, GeoRef и др. Кроме того, дешевизна и быстрота проверки обусловливают популярность наукометрических показателей в экспресс-оценивании публикационной деятельности ученых [15, с. 262-269].
С момента своего появления наукометрические методы находятся в центре непрекращающейся и со временем только усиливающейся дискуссии и получают весьма неоднозначные оценки в научном сообществе. При этом как сторонники этих методов, так и их противники признают, что наукометрические показатели лишь косвенно свидетельствуют о качестве научных исследований и реальном вкладе ученого в развитие предметной области [19; 20].
Основная критика ведется по нескольким направлениям:
- неточность наукометрических оценок, которая возникает из-за неполноты информационной базы, используемой для анализа;
- несовершенство применяемого инструментария (упрощенный аппарат математической статистики, введение ряда допущений, которые редко выполняются на практике);
- неадекватное использование наукометрических показателей в качестве единственного критерия оценки многогранной научно-исследовательской деятельности;
- провоцирование ученых к «накрутке» показателей различными способами в связи с использованием данных индикаторов для оценки научной деятельности [14, с. 249-261].
Это все создает наукометрии репутацию очень «лукавого зеркала науки», в котором каждый может увидеть то, что хочет увидеть. Вместе с тем, несмотря на активную критику наукометрии за контрпродуктивность, пока не удалось предложить более внятную, точную и реализуемую на практике систему «измерения» науки [3, с. 366-369].
Проблема применения наукометрических показателей для оценки труда российских ученых появилась вследствие напряженности, возникшей в среде российских ученых при введении Министерством образования и науки этих показателей в систему оценки деятельности подведомственных организаций [6, с. 540]. Необходимо учитывать тот факт, что использование показателей зарубежных баз данных для оценки научной деятельности российских ученых не дает объективной картины. В Прогнозе социально-экономического развития РФ на 2012 год и плановый период 2013 -2014 гг. (раздел «Текущее состояние и тен-
денции развития научно-технической и инновационной сфер»)2 отмечается низкая представленность России в мировой науке. Вывод сделан на основании анализа ключевых индикаторов, признанных во всем мире в качестве объективных критериев результативности и качества научных исследований, таких как количество публикаций в научной периодике и индекс цитируемости. На долю российских ученых приходится менее 2% цитирований в научных журналах, которые индексируются в ведущих зарубежных базах данных, причем этот показатель год от года не повышается [4, с. 102].
В сложившихся условиях назрел вопрос о создании национального индекса цитирования, который помог бы сформировать представление о реальном состоянии российской науки. Именно нерепрезентативное представление российской научной периодики в зарубежных системах цитирования, отсутствие доступной и объективной системы для количественной оценки научных результатов в России и потребность отечественных ученых в доступных информационно-поисковых системах стали причиной создания Российского индекса научного цитирования (РИНЦ). С 2005 года на платформе Научной электронной библиотеки было начато создание национальной информационно-аналитической системы Российского индекса научного цитирования, аккумулирующей на данный момент более 5,7 миллионов публикаций российских авторов, а также информацию о цитировании этих публикаций из более 4000 российских журналов. Данная система является не только средством для оперативного обеспечения научных исследований актуальной справочно-библиографической
2 Прогноз социально-экономического развития Российской Федерации на 2012 год и плановый период 2013 - 2014 гг. [Электронный ресурс]. -Режим доступа : http://goo.gl/iMEuJo
информацией, но и мощным инструментом, позволяющим осуществлять оценку результативности и эффективности деятельности научно-исследовательских организаций, ученых, уровень научных журналов и т. д. Основной целью РИНЦ была необходимость создания объективной системы оценки и анализа публикационной активности и цитируемости отечественных авторов, изданий и организаций [9].
В России начался новый период в истории развития ее науки, связанный с комплексным развитием отечественных электронных ресурсов для науки и образования, систематическим продвижением в сети Интернет российских научных изданий, созданием национальной библиографической базы данных по научной периодике, разработкой инструментария и сервисов для измерений научной деятельности [10, с. 7].
Итак, на сегодняшний день РИНЦ -это главный источник информации для оценки научной эффективности отечественных ученых и организаций, занимающихся научными исследованиями и разработками. Нередко эксперты отмечают определенные недостатки базы данных, но работа по ее совершенствованию не прекращается [2].
На основании данных, имеющихся в свободном доступе в системе РИНЦ, можно сделать вывод о наличии научных связей, направлении научных исследований и их динамике, рейтинге цитирования авторов, сотрудничающих с конкретным учреждением, общем числе статей, опубликованных сотрудниками учреждения и пр. Обратившись к наукометрическим показателям, можно также определить вектор интереса научных кругов: какая тематика в настоящее время вызывает наибольший интерес, а какая теряет свое влияние на умы ученых, что отражается на сокращении частоты ее присутствия на страницах научных изданий [4, с. 103].
Каждый год в наукометрии разрабатывается и затем проверяется на практике несколько десятков различных показателей, которые могут быть использованы для оценки эффективности научной деятельности. От того, как именно они применяются и для каких целей, зависят результаты проводимой оценки. Также остается открытым вопрос о привлечении специалистов к этому процессу [21].
Данные индикаторы делят на три основные группы [15]:
- показатели на основе количества публикаций;
- показатели на основе количества цитирований;
- показатели на основе количества цитирований и количества публикаций.
При рассмотрении показателей на основе количества публикаций учитываются такие важные факторы, как
1. Тип публикации - монография, статья, тезисы, публикации в изданиях, входящих в список ВАК, публикации в журналах, внесенных в зарубежные базы данных Web of Science и Scopus и др. При этом данный показатель может быть подсчитан и по суммарному количеству работ.
2. Объем публикации.
3.Статус издания - для его определения используется такой показатель, как импакт-фактор, который является инструментом измерения ценности журнала путем вычисления среднего числа цитирований на статью за определенный промежуток времени [12, с. 3].
4. Предметная область исследования. В зависимости от отрасли знания соответствующий показатель рассматривается по-разному [16].
5. Количество соавторов. Для выделения личного вклада баллы за публикацию распределяют на всех соавторов. Обычно считается, что вклад всех соавторов равновеликий, поэтому баллы за публикацию делят на число соавторов.
Наиболее обобщенным показателем на основе количества публикаций считается общее число публикаций исследователя или организации, которое получается из библиографических баз данных и показывает именно то число работ, которое вошло в базу данных соответствующей информационно-поисковой системы. Для России это, прежде всего, периодические издания, вошедшие в систему РИНЦ, и журналы из списка ВАК.
В настоящее время ведущим наукометрическим показателем на основе количества цитирований является индекс цитирования - суммарное количество ссылок на работы автора в научных публикациях. Индекс цитирования свидетельствует о следующем:
- он характеризует степень актуальности и важности проводимых исследований для тех областей знаний, в которых работают конкретные ученые или научные коллективы;
- высокий индекс цитирования в определенной степени служит официальным признанием конкретного ученого научным сообществом и подтверждением его приоритета;
- наличие в научно-образовательных организациях ученых, обладающих высоким индексом, говорит о высокой эффективности и результативности деятельности организации в целом.
В России индекс цитирования с каждым годом все больше внедряется в сферу науки и образования. Сегодня этот показатель активно используется в следующих направлениях:
- для оценки деятельности российских ученых и научно-образовательных организаций в целом;
- при проведении экспертизы заявок на финансирование в рамках федеральных целевых программ и других конкурсов;
- для аттестации научно-педагогических работников и оценки результатив-
ности их научной деятельности в научно-образовательных учреждениях;
- издателями научной литературы и научно-технических периодических изданий для прогнозирования востребованности работ конкретного автора у целевой аудитории [10, с. 9-10].
Высокая цитируемость - это еще не гарантия какого-то особого качества работы, это лишь сигнал, свидетельствующий о том, что данная работа с большой вероятностью может оказаться полезной для развития научного знания. Различные методики подсчета цитирований научных публикаций получили в настоящее время широкое признание не потому, что полученные с их помощью оценки являются однозначными или исчерпывающими, а потому, что они являются пока единственными формализованными оценками научных результатов средствами самой науки [1, с. 19].
К показателям на основе количества цитирований и количества публикаций относят индекс Хирша и его модификации (хиршподобные наукометрические показатели). Однако ключевым показателем является классический индекс Хирша, разработанный Х. Хиршем в 2005 году. Введение данной метрики Х. Хирш аргументировал ее предпочтительностью перед такими критериями оценки, как количество работ, деленное на общее количество цитирований, или количество цитирований, приходящихся на одну работу. Согласно данному Хиршем определению, организация имеет индекс Ь если h из его статей цитируются не менее h раз каждая, в то время как оставшиеся статьи цитируются не более чем h раз каждая [18]. Западные коллеги Х. Хирша, отмечая преимущества ^индекса перед другими показателями подобного рода, делают акцент на том, что этот индекс дает возможность учитывать не только количество публикаций, но и их востребованность,
тем самым являясь результатом баланса между количеством публикаций и количеством цитирований, полученных каждой публикацией [17].
Общепризнано, что индекс Хирша обеспечивает более адекватную рейтинговую оценку исследователей, имеющих значительный стаж научной деятельности, чем могут дать такие показатели, как число публикаций или число цитирований.
Применение индекса Хирша для оценки результативности научной деятельности и построения различного рода рейтингов требует учета следующих важных обстоятельств. Во-первых, этот индекс, как и многие другие наукометрические индикаторы, в отрыве от библиографической базы не имеет смысла. Кроме того, он привязан ко времени подсчета. Во-вторых, индекс Хирша не может быть сопоставимым для разных областей науки. Его целесообразно применять для сравнения достижений исследователей, научных коллективов, организаций, работающих в общей предметной области [1, с. 25-27].
Проведя обзор основных наукометрических показателей, мы рассмотрели их применительно к Институту социально-экономического развития территорий Российской академии наук (ИСЭРТ РАН). Ранее нами была уже предпринята попытка определить положение ИСЭРТ РАН в научной среде как на уровне страны, так и в регионе [11; 13]. Однако, учитывая тот факт, что наукометрические показатели являются динамическими, они довольно быстро изменяются, что делает оценку, основанную на этих данных, объективной только на определенный временной период. В настоящей статье мы используем показатели РИНЦ для оценки публикационной активности ИСЭРТ РАН в сравнении с научными учреждениями, входящими в состав Секции экономики
Отделения общественных наук РАН, которые были представлены в РИНЦ на июнь 2014 года.
Обратимся к основным показателям каждого учреждения, представленного в РИНЦ: общее число публикаций организации в РИНЦ, число статей в журналах, входящих в Web of Science или Scopus, число статей в журналах, входящих в перечень ВАК, суммарное число цитирований публикаций организации, число авторов учреждения и индекс Хирша.
Основываясь на данных таблицы, можно определить общее количество публикаций институтов Секции экономики ООН РАН в РИНЦ на июнь 2014 года. Оно составляет 20236 единиц. На институты, входящие в первую тройку (Институт экономики РАН, Институт экономики и организации промышленного производства СО РАН, Институт экономики УрО РАН), приходится 8838 работ, или 44% от общего числа публикаций. ИСЭРТ РАН занимает 6-ю позицию среди 19 учреждений, имея 1446 публикаций (7% от общего числа). Ближайшие институты, входящие в пятерку лидеров по данному показателю, - Центральный экономико-математический институт РАН и Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН (1767 и 1481 публикация соответственно). В течение 2014 года ИСЭРТ РАН имеет неплохие шансы войти в первую пятерку.
В общем числе публикаций выделяют еще два не менее важных показателя -число статей в журналах, входящих в Web of Science или Scopus, и число статей в журналах, входящих в перечень ВАК.
По числу статей в журналах, входящих в Web of Science или Scopus, лидирующие позиции принадлежат Институту народнохозяйственного прогнозирования РАН, Институту экономики УрО РАН и Институту экономики РАН. По этому показателю ИСЭРТ РАН занимает 8 место среди 19
учреждений Секции экономики ООН РАН. Для попадания в пятерку лидеров необходимо увеличить данный показатель как минимум в 3 раза и иметь не менее 100 публикаций в журналах, входящих в Web of Science или Scopus.
Относительно числа статей в журналах, входящих в перечень ВАК, ситуация несколько иная. В первую тройку входят те институты, которые занимают лидирующие позиции по общему количеству публикаций. ИСЭРТ РАН находится на 10 месте. Одной из основных задач для любого научного учреждения является планомерное наращивание количества публикаций в журналах, входящих в Web of Science или Scopus и в перечень ВАК. Пуб-
ликации в подобных изданиях позволяют судить об авторитетности исследований, проводимых учреждением, а также о его представленности не только на уровне страны, но и на мировом уровне.
Наряду со значимостью количественных показателей по публикациям не менее важными индикаторами оценки публикационной активности учреждения является показатель количества цитирований работ, который позволяет судить о качестве научной продукции и ее востребованности. Обратимся к показателю суммарного количества цитирований организаций. Суммарное количество цитирований по всем 19 институтам Секции экономики ООН РАН насчитывает 32660
Таблица. Общие показатели научных учреждений Секции экономики ООН РАН, представленные в РИНЦ (по состоянию на 05.06.2014 - 07.06.2014)
Учреждение Общее число публикаций организации в РИНЦ Число статей в журналах, входящих в Web of Science или Scopus Число статей в журналах, входящих в перечень ВАК Суммарное число цитирований публикаций организации Число авторов Индекс Хирша
Институт экономики РАН 3641 229 2177 5184 298 25
Институт экономики и организации промышленного производства СО РАН 2996 99 1417 6243 275 27
Институт экономики УрО РАН 2201 396 1348 3173 302 19
Центральный экономико-математический институт РАН 1767 207 924 6034 278 28
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН 1481 49 544 937 92 10
Институт социально-экономического развития территорий РАН 1446 38 354 1431 165 12
Институт народнохозяйственного прогнозирования РАН 1440 408 745 4681 245 25
Институт социально-экономических исследований Уфимского НЦ РАН 765 13 194 296 64 7
Институт социально-экономических исследований Дагестанского НЦ РАН 719 2 366 316 52 7
Институт социально-экономических проблем народонаселения РАН 717 47 439 1468 97 18
Институт аграрных проблем РАН 614 10 140 233 51 6
Институт экономических исследований ДВО РАН 597 21 394 912 68 11
Институт проблем региональной экономики РАН 538 3 199 258 53 6
Институт проблем рынка РАН 390 24 246 730 52 14
Институт социально-экономических и гуманитарных исследований Южного НЦ РАН 195 30 119 112 41 5
Институт экономики Карельского НЦ РАН 238 4 149 159 41 6
Институт социально-экономических и энергетических проблем Севера Коми НЦ УрО РАН 205 33 153 165 43 6
Сочинский научно-исследовательский центр РАН 144 4 70 122 18 5
Санкт-Петербургский экономико-математический институт РАН 142 45 58 206 50 7
единиц. Однако по данному показателю распределение учреждений несколько иное. В тройку лидеров входят Институт экономики и организации промышленного производстваСОРАН, Центральный экономико-математический институт РАН и Институт экономики РАН, составляя 54% от общего числа цитирований (17461 единица). ИСЭРТ РАН находится на 7-й строчке по данному показателю, имея 1431 цитирование. Оценивая шансы на попадание в пятерку по суммарному количеству цитирований, можно сказать, что разрыв между 5 и 7 позициями составляет более чем 2 раза, поэтому на данный момент ИСЭРТ РАН может подняться лишь на 6-ю строчку, опередив Институт социально-экономических проблем народонаселения РАН. Впоследствии, постепенно наращивая количество цитирований, ИСЭРТ РАН имеет возможность войти в первую пятерку по данному показателю.
Еще один показатель, представленный в РИНЦ, - это число авторов организации. Данный показатель позволяет судить о масштабности исследований, проводимых институтом, и, соответственно, об участии в них определенного количества ученых. Вполне естественно, что по этому показателю ведущие позиции принадлежат учреждениям, которые находятся в крупных городах и в столице: Институт экономики УрО РАН (Екатеринбург), Институт экономики РАН (Москва), Центральный экономико-математический институт РАН (Москва), Институт экономики и организации промышленного производства СО РАН (Новосибирск) и Институт народнохозяйственного прогнозирования РАН (Москва). ИСЭРТ РАН имеет 165 авторов, проводящих свои исследования на базе института, и занимает 6 место, следом за учреждениями первой пятерки, что в целом говорит о его неплохой позиции
на фоне крупных научно-исследовательских институтов, учитывая региональное местоположение организации.
Не менее важным показателем для любой организации является индекс Хир-ша, основанный на распределении цитирований работ авторов учреждения. Он позволяет судить о научной продуктивности как отдельного автора, так и организации в целом. Данные таблицы свидетельствуют, что высокие показатели индекса Хирша имеют 4 института (от 20 и выше), 6 организаций демонстрируют среднее значение индекса Хирша (от 10 до 20) и 9 учреждений - менее 10. Что касается ИСЭРТ РАН, показатель индекса Хирша института равен 12, что означает, что в базе данных РИНЦ представлено не менее 12 научных работ института, каждая из которых имеет цитируемость 12 и выше. ИСЭРТ РАН, на наш взгляд, должен планомерно повышать показатель индекса Хирша, следствием чего и станет попадание учреждения в пятерку первых институтов, что может быть достигнуто в ближайшие годы.
Обобщая все вышесказанное, можно сделать вывод, что наукометрические показатели и их сопоставление открывают новые грани научной деятельности, дают возможность ее скорректировать и оценить, а также сравнить результаты этой деятельности с результатами других научных организаций. По рассмотренным показателям ИСЭРТ РАН занимает достаточно уверенные позиции среди научных учреждений, входящих в состав Секции экономики Отделения общественных наук РАН. Однако главной задачей остается сохранение и улучшение имеющихся позиций по всем направлениям.
Применение наукометрических показателей в управлении наукой встречает множество сложностей, а также противодействие самих ученых, которые указывают на невозможность количественного
измерения значимости научного результата. Очевидно, что нельзя эффективность и продуктивность работы научно-исследовательской организации сводить лишь к нескольким универсальным наукометрическим показателям и затем на их основании выстраивать рейтинги. Они должны формироваться с учетом количественных и качественных показателей и характеристик эффективности научно-исследовательской деятельности, уровня
разработок, а также их значимости для научного мира и широкой общественности. Поэтому лишь профессиональная экспертиза и публичное обсуждение полученных научных результатов могут дать всестороннюю объективную оценку научной деятельности. Наукометрические показатели служат лишь инструментом поддержки принятия решений экспертами и могут играть только вспомогательную роль.
ЛИТЕРАТУРА
1. Бедный, Б. И. О показателях научного цитирования и их применении [Текст] / Б. И. Бедный, Ю. М. Сорокин // Высшее образование в России. - 2012. - № 3. - С. 17-28.
2. Беляева, С. Авторская работа. Российский индекс научного цитирования поможет оценить деятельность ученого и организации [Электронный ресурс] / С. Беляева // ПОИСК. - 2012. - № 16. - Режим доступа : http://www.poisknews.ru/theme/science/3313
3. Дербенев, Н. В. Что можно улучшить в наукометрическом анализе - учет наличия дубликатов и заимствований в научных публикациях [Текст] / Н. В. Дербенев, В. О. Толчеев // Управление большими системами: сборник трудов. Специальный выпуск 44 - Наукометрия и экспертиза в управлении наукой / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. - М. : ИПУ РАН, 2013. - С. 366-380.
4. Ефимова, Г. З. Анализ эффективности наукометрических показателей при оценке научной деятельности [Текст] / Г. З. Ефимова // Вестник Тюменского государственного университета. - 2012. - № 8. - С. 101-108.
5. Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» [Электронный ресурс] : Приказ Министерства образования и науки Российской Федерации № 161 от 5 марта 2014 года. - Режим доступа : http://www.rg.ru/2014/07/18/obr-dok.html
6. Орлов, А. И. Наукометрия и управление научной деятельностью [Текст] / А. И. Орлов // Управление большими системами: сборник трудов. Специальный выпуск 44 - Наукометрия и экспертиза в управлении наукой / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. - М. : ИПУ РАН, 2013. - С. 538-566.
7. Пироженко, А. А. Построение наукометрического показателя, устойчивого к спаму [Электронный ресурс] : дипломная работа / А. А. Пироженко. - Режим доступа : http://modis.ispras.ru/seminar/wp-content/uploads/2012/07/Pirozhenko-thesis.pdf
8. Прогноз социально-экономического развития Российской Федерации на 2012 год и плановый период 2013 - 2014 гг. [Электронный ресурс]. - Режим доступа : http://goo.gl/x1WfT5
9. Российский индекс научного цитирования [Электронный ресурс] // Научная электронная библиотека. - Режим доступа : http://elibrary.ru/projects/citation/cit_index.asp
10. Количественная оценка и основные способы повышения результативности научной работы: метод. рекомендации [Текст] / Е. Д. Савилов [и др.]. - Иркутск : РИО ГБОУ ДПО ИГМАПО, 2012. - С. 36.
11. Третьякова, О. В. Возможности и перспективы использования индексов цитирования в оценке результатов деятельности научного учреждения [Текст] / О. В. Третьякова, Е. А. Кабакова // Экономические и социальные перемены: факты, тенденции, прогноз. - 2013. - № 6 (30). - С. 189-200.
12. Третьякова, О. В. К вопросу об импакт-факторе научного журнала и методиках его формирования [Электронный ресурс] / О. В. Третьякова // Вопросы территориального развития. - 2014. - № 5 (15). -Режим доступа : http://vtr.isert-ran.ru/?module=Artides&action=view&aid=3817
13. Третьякова, О. В. Современные инструменты оценки научного потенциала территории: наукометрический подход [Текст] / О. В. Третьякова // Проблемы развития территории. - 2014. - № 4. - С. 7-16.
14. Цыганов, А. В. Краткое описание наукометрических показателей, основанных на цитировании [Текст] / А. В. Цыганов // Управление большими системами: сборник трудов. Специальный выпуск 44 - Наукометрия и экспертиза в управлении наукой / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. -М. : ИПУ РАН, 2013. - С. 248-261.
15. Штовба, С. Д. Обзор наукометрических показателей для оценки публикационной деятельности ученого [Текст] / С. Д. Штовба, Е. В. Штовба // Управление большими системами: сборник трудов. Специальный выпуск 44 - Наукометрия и экспертиза в управлении наукой / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. - М. : ИПУ РАН, 2013. - С. 262-276.
16. Amin, M. Impact factor: use and abuse [Text] / M. Amin, M. Mabe // Perspectives in Publishing. - 2000. -№ 1. - Р. 1-6.
17. Glanzel, W. On the opportunities and limitations of the H-index [Text] // Science Focus. - 2006. - Vol. 67. -No. 1. - P. 10-11.
18. Hirsch, J. E. An index to quantify an individual's scientific research output [Text] / J. E. Hirsch // Proceedings of the National Academy of Sciences. USA. - 2005. - Vol. 102. - No. 46. - P. 16569-16572.
19. Marx, W. The citation impact outside references-formal versus informal citations [Text] / W. Marx, M. Cardona // Scientometrics. - 2009. - Vol. 80. - № 1. - P. 1-21.
20. Podlubny, I. Comparison of scientific impact expressed by the number of citations in different fields of science [Text] / I. Podlubny // Scientometrics. - 2005. - Vol. 64. - № 1. - P. 95-99.
21. Rousseau, R. Journal evaluation: Technical and practical issues [Text] / R. Rousseau // Library Trends. - 2002. -Vol. 50. - Iss. 3. - P. 418-439.
ИНФОРМАЦИЯ ОБ АВТОРЕ
Кабакова Елена Алексеевна - инженер-исследователь отдела редакционно-издатель-ской деятельности и научно-информационного обеспечения. Федеральное государственное бюджетное учреждение науки Институт социально-экономического развития территорий Российской академии наук. Россия, 160014, г. Вологда ул. Горького, д. 56а. E-mail: vologdascience@gmail.com. Тел.: (8172) 59-78-10.
Kabakova E.A.
THE USE OF SCIENTOMETRIC INDICATORS IN EVALUATION OF SCIENTIFIC ACTIVITY
At present the issue concerning the evaluation of scientific activity using scientometric indicators has become especially urgent, since these indicators, together with expert opinions, are now used at all stages of science management.
The article considers several debating points that have recently appeared in regard to the wide use of different scientometric indicators for evaluating scientific activity. The author presents an overview of the main scientometric indicators that take into account the number of publications and number of citations, both separately and together. The author makes an attempt to give a comparative assessment of scientometric indicators of the institutions included in the Economics Section of the Social Sciences Department of the Russian Academy of Sciences, according to the Russian Science Citation Index.
On the basis of the analysis the author specifies the ways to improve scientometric indicators and substantiates the necessity of applying expert technologies in the evaluation of scientific activity's efficiency.
Evaluation of scientific activity's efficiency, scientometric indicators, Russian Science Citation Index (RSCI), ways to improve scientometric indicators.
REFERENCES
1. Bednyi B. I., Sorokin Yu. M. O pokazatelyakh nauchnogo tsitirovaniya i ikh primenenii [About Science Citation Indices and Their Application]. Vysshee obrazovanie v Rossii [Higher Education in Russia], 2012, no. 3, pp. 17-28.
2. Belyaeva S. Avtorskaya rabota. Rossiiskii indeks nauchnogo tsitirovaniya pomozhet otsenit' deyatel'nost' uchenogo i organizatsii [Work of Authorship. The Russian Science Citation Index Will Help Assess the Performance of a Scientist and of an Organization]. POISK, 2012, no. 16. Available at: http://www.poisknews.ru/theme/science/3313
3. Derbenev N. V., Tolcheev V. O. Chto mozhno uluchshit' v naukometricheskom analize - uchet nalichiya dub-likatov i zaimstvovanii v nauchnykh publikatsiyakh [What Can Be Improved in Scientometric Analysis Taking into Account the Presence of Duplicates and Plagiarism in Scientific Publications]. Upravlenie bol'shimi sis-temami: sbornik trudov. Spetsial'nyi vypusk 44 - Naukometriya i ekspertiza v upravlenii naukoi [Management of Large Systems: Proceedings. Special Issue 44 - Scientometrics and Expert Evaluation in the Management of Science]. Ed.by D. A. Novikov, A. I. Orlov, and P. Yu. Chebotarev. Moscow: IPU RAN, 2013. Pp. 366-380.
4. Efimova G. Z. Analiz effektivnosti naukometricheskikh pokazatelei pri otsenke nauchnoi deyatel'nosti [Analysis of the Effectiveness of Scientometric Indicators in the Evaluation of Research Performance]. Vestnik Tyumenskogo gosudarstvennogo universiteta [Bulletin of the Tyumen State University], 2012, no. 8, pp. 101-108.
5. "Ob utverzhdenii tipovogo polozheniya o komissii po otsenke rezul'tativnosti deyatel'nosti nauchnykh organizatsii, vypolnyayushchikh nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya, i tipovoi metodiki otsenki rezul'tativnosti deyatel'nosti nauchnykh organizatsii, vypolnyayushchikh nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya": Prikaz Ministerstva obrazovaniya i nauki Rossiiskoi Federatsii № 161 ot 5 marta 2014 goda [On the Approval of the Model Regulations on the Commission for Assessing the Effectiveness of Scientific Organizations Involved in Research, Development and Technological Works for Civilian Use, and the Standard Methodology for Assessing the Effectiveness of Scientific Organizations Involved in Research, Development and Technological Works for Civilian Use: the Order of the Ministry of Education and Science of the Russian Federation No. 161 of March 5, 2014]. Available at: http://www.rg.ru/2014/07/18/obr-dok.html
6. Orlov A. I. Naukometriya i upravlenie nauchnoi deyatel'nost'yu [Scientometrics and Management of Research Activity] Upravlenie bol'shimi sistemami: sbornik trudov. Spetsial'nyi vypusk 44 - Naukometriya i ekspertiza v upravlenii naukoi [Management of Large Systems: Proceedings. Special Issue 44 - Scientometrics and Expert Evaluation in the Management of Science]. Ed.by D. A. Novikov, A. I. Orlov, and P. Yu. Chebotarev. Moscow: IPU RAN, 2013. Pp. 538-566.
7. Pirozhenko A. A. Postroenie naukometricheskogo pokazatelya, ustoichivogo k spamu: diplomnaya rabota [Building of a Scientometric Indicator Resistant to Spam: Graduation Paper]. Available at: http://modis.is-pras.ru/seminar/wp-content/uploads/2012/07/Pirozhenko-thesis.pdf
8. Prognoz sotsial'no-ekonomicheskogo razvitiya Rossiiskoi Federatsii na 2012 god i planovyi period 2013 - 2014 gg. [The Forecast of Socio-Economic Development of the Russian Federation for 2012 and the Planned Period of 2013-2014]. Available at: http://goo.gl/x1WfT5
9. Rossiiskii indeks nauchnogo tsitirovaniya [The Russian Science Citation Index]. Nauchnaya elektronnaya bib-lioteka [Scientific Electronic Library]. Available at: http://elibrary.ru/projects/citation/cit_index.asp
10. Savilov E. D. et al. Kolichestvennaya otsenka i osnovnye sposoby povysheniya rezul'tativnosti nauchnoi raboty: metod. rekomendatsii [Quantitative Assessment and the Main Ways to Enhance the Efficiency of Scientific Work: Methodological Recommendations]. Irkutsk: RIO GBOU DPO IGMAPO, 2012. P. 36.
11. Tret'yakova O. V., Kabakova E. A. Vozmozhnosti i perspektivy ispol'zovaniya indeksov tsitirovaniya v otsenke rezul'tatov deyatel'nosti nauchnogo uchrezhdeniya [Opportunities for and Prospects of Using Citation Indices in Evaluating the Performance of Research Institution]. Ekonomicheskie i sotsial'nye peremeny: fakty, tendentsii, prognoz [Economic and Social Changes: Facts, Trends, Forecast], 2013, no. 6 (30), pp. 189-200.
12. Tret'yakova O. V. K voprosu ob impakt-faktore nauchnogo zhurnala i metodikakh ego formirovaniya [On the Issue of the Impact Factor of a Scientific Journal and Methods of its Formation]. Voprosy territorial'nogo razvitiya [Territorial Development Issues], 2014, no. 5 (15). Available at: http://vtr.isert-ran.ru/?module=Artic les&action=view&aid=3817
13. Tret'yakova O. V. Sovremennye instrumenty otsenki nauchnogo potentsiala territorii: naukometricheskii podkhod [Modern Assessment Tools of Territory's Scientific Potential: Scientometric Approach]. Problemy razvitiya territorii [Problems of Development of Territories], 2014, no. 4, pp. 7-16.
14. Tsyganov A. V. Kratkoe opisanie naukometricheskikh pokazatelei, osnovannykh na tsitirovanii [Brief Description of Scientometric Indicators Based on Citation] Upravlenie bol'shimi sistemami: sbornik trudov. Spetsial'nyi
vypusk 44 - Naukometriya i ekspertiza v upravlenii naukoi [Management of Large Systems: Proceedings. Special Issue 44 - Scientometrics and Expert Evaluation in the Management of Science]. Ed.by D. A. Novikov, A. I. Orlov, and P. Yu. Chebotarev. Moscow: IPU RAN, 2013. Pp. 248-261.
15. Shtovba S. D., Shtovba E. V. Obzor naukometricheskikh pokazatelei dlya otsenki publikatsionnoi deyatel'nosti uchenogo [Overview of Scientometric Indicators for Evaluation of Publication Activity of a Researcher]. Upravlenie bol'shimi sistemami: sbornik trudov. Spetsial'nyi vypusk 44 - Naukometriya i ekspertiza v upravlenii naukoi [Management of Large Systems: Proceedings. Special Issue 44 - Scientometrics and Expert Evaluation in the Management of Science]. Ed.by D. A Novikov, A. I. Orlov, and P. Yu. Chebotarev. Moscow: IPU RAN, 2013. Pp. 262-276.
16. Amin M., Mabe M. Impact Factor: Use and Abuse. Perspectives in Publishing, 2000, no. 1, pp. 1-6.
17. Glänzel W. On the Opportunities and Limitations of the H-Index. Science Focus, 2006, vol. 67, no. 1, pp. 10-11.
18. Hirsch J. E. An Index to Quantify an Individual's Scientific Research Output. Proceedings of the National Academy of Sciences. USA, 2005, vol. 102, no. 46, pp. 16569-16572.
19. Marx W., Cardona M. The Citation Impact outside References-Formal versus Informal Citations. Scientometrics, 2009, vol. 80, no. 1, pp. 1-21.
20. Podlubny I. Comparison of Scientific Impact Expressed by the Number of Citations in Different Fields of Science. Scientometrics, 2005, vol. 64, no. 1, pp. 95-99.
21. Rousseau R. Journal Evaluation: Technical and Practical Issues. Library Trends, 2002, vol. 50, no. 3, pp. 418-439.
INFORMATION ABOUT THE AUTHOR
Kabakova Elena Alekseevna - Research Engineer at the Department of Editorial-and-Publishing Activity and Science-Information Support. Federal State-Financed Scientific Institution the Institute of Socio-Economic Development of Territories ofthe Russian Academy of Sciences. 56A, Gorky Street, Vologda, 160014, Russia. E-mail: vologdascience@gmail.com. Phone: +7(8172) 59-78-10.
