CC BY
6Научно-технический и производственный журнал
-------ЖИЛИЩНОЕ ---
СТРОИТЕЛЬСТВО
УДК 347.65:643
А.Л. БОЛЬШЕРОТОВ, д-р техн. наук, Московский государственный строительный университет (НИУ МГСУ)
Мировой рейтинг университетов:
догнать и перегнать. А нужно ли?
Часть III. Методика комплексной оценки
активности
Обосновывается, что существующий подход к оценке публикационной активности научных, высших учебных заведений и научных работников, в том числе через Российский индекс научного цитирования, не в полной мере отражает эффективность научной деятельности. Предлагается новый алгоритм оценки.
Ключевые слова: рейтинг университетов, методика составления рейтинга университетов, публикационная активность, индекс Хирша.
публикационной
Эффективность научной деятельности - один из основных показателей научных и учебных заведений. Среди ак-кредитационных важное место занимают следующие количественные показатели: количество зачисленных аспирантов и докторантов; количество аспирантов и докторантов, защитивших диссертации; количество опубликованных статей в научной периодике из Перечня ВАК; количество опубликованных статей в научной периодике, индексируемой Scopus и Web of Science; количество объектов интеллектуальной собственности; объем доходов от НИОКР.
Логично предположить, что, следуя правилам, предложенным Минобрнауки РФ, научные организации и высшие учебные заведения будут стремиться обеспечить количественные показатели, а не качество работы. При этом остается открытым вопрос: будет ли двигаться вперед наука?
Кроме того, введен такой показатель уровня научной эффективности, как публикационная активность научного учреждения, каждого научного работника и преподавателя вуза. Эти показатели, а также Российский индекс научного цитирования (РИНЦ), в настоящее время формирует электронная научная библиотека (eLibrary.ru). РИНЦ аналогичен западным индексам научного цитирования, на базе которых строится система оценки и рейтинг университетов мира. Весомость показателя цитируемости достигает суммарно 60% в показателях рейтинга мировых университетов [1, 2], он является основным в оценке научных успехов университетов.
Однако количественный подход к оценке научной эффективности научных и высших учебных заведений и одновременно копирование западной системы оценки публикационной активности через применяемые показатели типа индекса цитирования (общее количество цитирований), количества публикаций и вычисляемый на этой основе индекс Хирша (ИХ) недостаточно объективны.
Особенно необъективен именно индекс Хирша, который внедряется в качестве индикатора научной деятельности научных и учебных заведений при принятом количественном подходе к оценке эффективности научной деятельности. Недостаточная объективность индекса Хирша уже отмечалась, в частности академик РАН Г.П. Георгиев
даже предлагал отказаться от оценки научной деятельности с помощью индекса Хирша [3].
Безусловно, некий показатель публикационной активности нужен, но он должен базироваться на объективных показателях научных достижений. Ведь при продуманном, так называемом «управляемом цитировании» индексу Хир-ша можно обеспечить практически любое значение, что уже можно наблюдать на конкретных примерах.
При обращении к электронной научной библиотеке первая информация по учреждениям или персонально по авторам - это количество публикаций и общее количество цитирований этих публикаций по запрашиваемому учреждению или персоналии. Детальная расшифровка этих двух показателей включает и один из основных в настоящее время показателей научной активности - индекс Хирша.
Количество публикаций. В идеале этот показатель должен отражать результаты научной деятельности, а не быть отчетным показателем. Если есть результаты научной деятельности, то и труды будут. Если количество публикаций останется отчетным показателем, то и учреждения и научные работники будут нацелены на обеспечение количества «научных» трудов, что неминуемо снизит их качество. Это не только негативно отразится на научном авторитете как университета, так и ученого, но и снизит второй показатель - цитируемость. В связи с этим показатель научной и публикационной активности в виде количества изданных научных трудов необходимо убрать из отчетности университетов и оставить как обычную справочную информацию.
Количество цитирований. Количество цитирований прямо связано с количеством публикаций. Для его обеспечения в последнее время используется такой способ, как соавторство. При существующей системе каждый соавтор одного труда получает в личном зачете публикационной активности в РИНЦ одну единицу по количеству публикаций. При цитировании работы оно причисляется каждому соавтору. Таким образом, существующая практика отчетности за научную деятельность (количественный подход) подталкивает к соавторству. Соавторство обеспечивает показатели публикационной активности каждого независимо от конкретного вклада в научную работу.
72013
45
Ц M .1
Научно-технический и производственный журнал
Индекс Хирша. Этот третий показатель эффективности научной деятельности отражает количество цитирований, но по определенной методике (Л-индекс, или индекс Хирша - наукометрический показатель, предложенный в 2005 г. американским физиком Хорхе Хиршем из университета Сан-Диего, Калифорния). Индекс Хирша является количественной характеристикой продуктивности ученого, группы ученых, университета или страны в целом, основанной на количестве публикаций и количестве цитирований этих публикаций. Индекс вычисляется на основе распределения цитирований работ данного исследователя.
Ученый имеет индекс Ь, если Л из его Np статей цитируются как минимум й раз каждая, в то время как оставшиеся (Np - Ь) статьи цитируются не более чем й раз каждая [4].
Иными словами, ученый с индексом Ь опубликовал Ь статей, на каждую из которых сослались как минимум Ь раз. Так, если у данного исследователя опубликовано 100 статей, на каждую из которых имеется лишь одна ссылка, его Ь-индекс равен 1. Таким же будет Ь-индекс исследователя, опубликовавшего одну статью, на которую сослались 100 раз. В то же время (более реалистический случай), если среди публикаций исследователя имеется 1 статья с 9 цитированиями, 2 статьи с не менее чем 8 цитированиями (включая уже упомянутую статью с 9 цитированиями), 3 статьи с не менее чем 7 цитированиями, 9 статей с не менее чем 1 цитированием каждой из них, то его Ь-индекс равен 5 (так как на 5 его статей сослались как минимум 5 раз). Обычно распределение количества публикации N(q) в зависимости от числа их цитирований q в очень грубом приближении соответствует гиперболе: N(q)«coгs^'хq-1. Координата точки пересечения этой кривой с прямой N(q)=q и будет равна индексу Хирша.
Эта методика его расчета, используемая РИНЦ, включает недостатки количественного подхода к оценке научной эффективности авторов, искажает истинные показатели научной деятельности в стране.
Недостатки методики расчета индекса Хирша.
1. За одну работу начисляются целые «баллы» каждому соавтору.
Соавторство при существующей методике расчета ИХ удобный способ «зарабатывать» высокий ИХ, не участвуя в научной работе. Если работа цитируется, то цитирование засчитывается каждому соавтору в полной мере, то есть идет кратный учет показателей.
2. Методика расчета ИХ учитывает самоцитирование авторов.
Учет самоцитирования приводит к искажению научной ценности публикации. Одно дело, когда публикацию цитируют независимые, посторонние авторы, проявляя интерес к научному труду, и совершенно другое, когда «значимость» научного труда создается авторами путем самоцитирования своих трудов. С помощью так называемого «управляемого самоцитирования» можно быстро с каждой собственной публикацией и собственным цитированием набирать ИХ.
3. Методика расчета индекса Хирша не учитывает общее количество цитирований как одной публикации, так и всех в целом.
Например, два автора имеют одинаковый индекс Хирша 10. У первого 10 публикаций, каждая из которых имеет 10 цитирований, соответственно общее количество цитирований в данном случае 100. У второго автора 100 публикаций с общим количеством цитирования 1000. Однако так как только десять публикаций имеют 10 и более цитирований, по
методике расчета ИХ этот показатель будет 10. Из примера очевидно, что публикационная активность авторов неодинакова и отличается в разы, но методика этого не учитывает и игнорирует показатель общего количества цитирований.
4. Методика расчета индекса Хирша не учитывает авторитет изданий, в которых публикуются статьи.
Авторитет издания оценивается импакт-фактором (ИФ -отношение количества цитирований к количеству публикаций) [5]. Действительно, важно, где напечатана статья - в Nature или в «Юном натуралисте». Важно, насколько авторитетен в научных кругах источник. Учет в оценке научной эффективности импакт-фактора позволил бы стимулировать авторов печататься в наиболее авторитетных изданиях.
5. Методика расчета ИХ не учитывает, каким количеством публикаций набрано количество цитирований.
Здесь имеется в виду учет количества публикаций без цитирования. Этот показатель хорошо учитывается персональным импакт-фактором - ПИФ (pif) - отношением количества цитирований к количеству публикаций.
6. Индекс Хирша практически не учитывает прекращением автором научной деятельности и остается за автором пожизненно.
Методология расчета индекса Хирша построена таким образом, что индекс накапливается в течение жизни автора и не отражает прекращения по какой-либо причине научной активности. ИХ остается на достигнутом уровне. По мнению автора данной статьи, расчет индекса научной активности автора должен производиться, например, за 5 лет. Если автор не публикуется или прекратил научную деятельность, то его индекс будет постепенно стремиться к нулю. Необходимость поддержания индекса научной активности на достигнутом уровне будет стимулировать авторов к научной деятельности. А авторы, труды которых цитируются постоянно, например труды А. Энштей-на, всегда будут иметь высокий индекс научной активности.
Исходя из вышеизложенных требований к оценке научной эффективности учреждения или автора предлагается методика создания оценочной характеристики, которую можно назвать индексом научной активности, или индексом А (A).
Для его расчета введем ряд правил.
1. Одно цитирование научного труда делится между соавторами.
Например, при десяти соавторах каждый получит в актив 0,1 от каждого цитирования. Такой подход позволит избавиться от кратного учета цитирования, заставит основных авторов задуматься о целесообразности включения соавторов, так как это снизит«весомость» цитирования научного труда для каждого из них.
Возможен и другой подход к учету цитирований между соавторами, когда основной автор получает 0,5 цитирования, а остальные соавторы пропорционально делят между собой оставшиеся 0,5 цитирования. Возможны и другие алгоритмы дифференцированного учета вклада каждого автора.
2. Учитывается импакт-фактор журнала, где напечатан научный труд.
3. Индекс научной активности рассчитывается по данным за последние пять лет.
4. Самоцитирование, цитирование соавторов не учитываются или ограничиваются до одного в одной статье.
По предлагаемой методике расчет индекса научной активности А будет состоять из двух частей:
а) расчет числа цитирований ЧЦ (Nc) автора;
б) расчет собственно индекса А.
46
72013
Научно-технический и производственный журнал
Расчет числа цитирования (ЧЦ). Если автор один, то его доля ДЦ (qc) от одного цитирования научного труда составляет 1 ; если авторов двое, то каждому зачисляется доля по 0,5 цитирования; если авторов 10 - по 0,1 цитирования.
Так как значимость цитирования зависит от импакт-фактора ИФ (if) журнала, умножаем долю цитирований автора на импакт-фактор журнала.
ЧЦ = ДЦ х ИФ; Nc = qc х if. (1)
Если цитируемая публикация была в журнале «Жилищное строительство», у которого пятилетний импакт-фактор за 2011 г. ИФ5-2011 равен 0,131, то для одного автора одно цитирование его научного труда в журнале даст ЧЦ, согласно (1) равное 0,131.
Если авторов двое, то ЧЦ у каждого составит соответственно 0,0655.
Если авторов 10, то их ЧЦ будет 0,0131.
Расчет индекса А. После расчета числа цитирования можно приступить к расчету индекса А, придерживаясь предложенных выше условий:
а) рассчитываем суммарное число цитирований автора:
Е;ЧЦп = ЧЦ1 + ЧЦ2 + ... + ЧЦ,;
= Nc1 + Nc2 + ... + Nc ; (2)
1 n 12 n' 4 '
б) рассчитываем персональный импакт-фактор:
ПИФ = Ц/П; pif = dp, (3)
где Ц (c) - количество цитирований, шт.; П (p) - количество публикаций, шт.;
в) вводим поправку для 2"ЧЦп, которая учтет, каким числом публикаций достигнут данный уровень цитирования, или персональный уровень цитирования - ПЦ (pc):
ПЦ = ^"ЧЦ х ПИФ; pc = Z;Wcn х c/p; (4)
г) рассчитываем индекс А по аналогии с индексом Хирша.
Количество цитирований каждой публикации различно.
Можно построить кривую ранжирования цитирования публикаций (рис. 1).
Для каждого автора собственная кривая ранжирования, и, чтобы оценить ее одной цифрой, сведет количество цитирований в область А, аналогичную прямоугольнику, как на рис. 2. Тогда арифметический корень из рассчитанного ранее персонального уровня цитирования ПЦ даст значение индекса А.
В общем виде формула расчета индекса А выглядит следующим образом:
Л=У£"чЦ„хПИФ; A=V21"(QCxif)nxc/p. (5)
На рис. 3 показана область оценки цитируемости, охватываемая индексом Хирша, в сравнении с областью оценки, охватываемой индексом научной активности А. Расчет и применение индекса А в РИНЦ не представляет трудностей. Все нужные показатели уже рассчитываются программой РИНЦ, достаточно изменить алгоритм расчета публикационной активности.
Если индекс Хирша не учитывает все количество цитирований, то индекс А учитывает все показатели эффективности научной деятельности институтов и высших учебных заведений; авторитетность журнала, где печатаются публикации (импакт-фактор); персональный импакт-фактор автора - соотношение цитирований к общему количеству публикаций; общее количество цитирований; соавторство; публикационную активность последних пяти лет и т. д.
Рис. 1. Кривая ранжирования цитирований публикаций
Рис. 2. Предлагаемая геометрическая модель области оценки публикационной активности
Количество публикаций (КП)
Рис. 3. Область оценки индекса Хирша в сравнении с индексом научной активности
Данная методика расчета предлагается к практическому применению для оценки эффективности научной деятельности как научных и высших учебных заведений, так и авторов.
Список литературы
1. Большеротов АЛ. Мировой рейтинг университетов: догнать и перегнать. А нужно ли? Ч. I. Рейтинги университетов мира // Жилищное строительство. 2013. № 4. С. 17-23.
2. Большеротов А.Л. Мировой рейтинг университетов: догнать и перегнать. А нужно ли? Ч. II. Рейтинги российских университетов // Жилищное строительство. 2013. № 5. С. 41-46.
3. Георгиев Г.П. Индекс Хирша надо исключить из оценки ученых // Наука и технологии РФ. Электронное издание. http://www.strf.ru/material.aspx?CatalogId=221&d_ no=43481/. Дата обращения 05.03.13.
4. Hirsch J.E. An index to quantify an individual's scientific research output. http://arxiv.org/abs/physics/0508025. Дата обращения 05.03.13.
5. Писляков В.В. Методы оценки научного знания по показателям цитирования // Строительные материалы. 2009. № 3. С. 89-93.
7'2013
47
