CC BY
263
УДК 001.92
Недостатки индексов цитируемости и Хирша и использование других наукометрических показателей
© А.Д. Полянин
Институт проблем механики им. А.Ю. Ишлинского РАН, Москва,
119526, Россия
МГТУ им. Н.Э. Баумана, Москва, 105005, Россия
Обсуждаются индекс цитируемости и индекс Хирша, которые являются главными наукометрическими показателями, используемыми в настоящее время для оценки эффективности деятельности научных работников и преподавателей вузов. Указаны их основные недостатки. Рассмотрены наглядные примеры. Показано, что нормированный индекс цитируемости (учитывающий наличие соавторов) имеет ряд ощутимых преимуществ по сравнению с другими наукометрическими показателями. Предложены новые индексы — индексы максимальной цитируемо-сти, которые легко вычисляются, допускают простую и ясную интерпретацию и обладают рядом ощутимых преимуществ по сравнению с индексом Хирша.
Ключевые слова: индекс цитирования, индекс Хирша, h-индекс, наукометрические показатели, наукометрия.
Введение. В последнее время Минобрнауки РФ стало оценивать эффективность деятельности научных работников и преподавателей вузов с помощью наукометрических показателей, основанных на международных системах цитирования Web of Science, Scopus и др. В данной работе обсуждается наиболее популярная система Web of Science, принадлежащая корпорации Thomson Reuters (США). Все сказанное далее в полном объеме относится также к Российскому индексу научного цитирования (РИНЦ).
Следует заметить, что наукометрических показателей, которые способны абсолютно точно оценивать эффективность деятельности научных работников, не существует. В то же время нельзя не признать и важность наукометрии. Она позволяет путем количественного анализа публикаций и их цитируемости сравнивать условную эффективность деятельности ученых, а также определять, какие направления науки сейчас особенно популярны, какие, наоборот, утрачивают популярность. Однако абсолютизировать эти данные и принимать решения, основываясь только на них, совершенно недопустимо.
Международный союз математиков в июне 2008 г. распространил доклад, в котором говорится, что статистика цитирований может дать только ограниченную и неполную оценку качества проведенного исследования и что необходимо очень осторожно и корректно использовать эту статистику.
В настоящее время существует множество наукометрических показателей, достаточно полное описание которых можно найти в [1-6].
На практике наиболее широкое распространение получили два наукометрических показателя: индекс цитируемости и индекс Хирша [1], которые используются системой Web of Science. Указанные индексы обладают рядом существенных недостатков, которые обсуждаются далее. Описаны также наукометрические показатели, позволяющие делать значительно более точные сравнительные оценки условной эффективности деятельности ученых.
При сравнении наукометрических показателей безусловное предпочтение должно отдаваться (при прочих равных условиях) наиболее простым и легко вычисляемым показателям, допускающим очевидную или несложную интерпретацию.
Индекс цитируемости (ИЦ). Индекс цитируемости I определяется суммарным числом ссылок на статьи данного ученого в статьях других авторов:
N
i = 1 С,, (1)
1=1
где N — общее число цитируемых работ; Ci — число ссылок на i-ю работу.
Учитываются только статьи, входящие в достаточно широкий (но ограниченный) список англоязычных журналов, индексируемых системой Web of Science. Самоцитирование не учитывается.
Сейчас ИЦ отводится важное место в оценке деятельности ученого, поскольку большое число ссылок на работы автора, как правило, свидетельствует о востребованности его исследований и популярности в научном сообществе.
Основные недостатки использования индекса цитируемости.
1. Индекс цитируемости не учитывает личный вклад автора (при подсчете ИЦ все равно, десять авторов писали статью или автор был один).
2. В стандартной схеме ИЦ, используемой Web of Science, не учитываются ссылки на книги авторов. Не учитываются также ссылки в неанглоязычных источниках.
3. В индексе цитируемости учитываются ссылки даже на те статьи автора, которые подвергаются серьезной критике и результаты в которых считаются ошибочными или просто недостоверными (например, с подтасованными экспериментальными данными).
4. Мало цитируются статьи, опубликованные в переводных журналах (поэтому необходимо делать поправку при сравнении ИЦ российских и зарубежных ученых).
5. Некоторые пионерские работы незаслуженно забываются, а цитируются вторичные работы, опубликованные много позже, когда появляются различные приложения.
6. Если работа важная, но достаточно сложная для понимания, ее цитирование может откладываться на многие годы.
7. Совершенно не учитываются ссылки на статьи, приведенные даже в известных и хорошо цитируемых книгах (ученые подобные ссылки в книгах ценят обычно значительно выше, чем ссылки в статьях).
8. Цитирование сильно зависит от журнала, в котором публикуется статья.
9. Цитирование часто зависит от личных отношений и других случайных факторов.
10. Существуют различные способы искусственного наращивания ИЦ (например, друзья и коллеги договариваются о цитировании результатов друг друга и т. п.).
Указанные и некоторые другие недостатки сильно снижают объективность и значимость ИЦ для оценки эффективности деятельности научных работников и преподавателей вузов. Рассмотрим несколько ярких примеров, подчеркивающих недостатки ИЦ.
Пример 1. Григорий Перельман был выдвинут на две самые престижные международные премии в области математики (но отказался их получать) за результаты, опубликованные в трех препринтах в amv.org. На эти работы имеется множество ссылок в журналах, индексируемых Web of Science, однако поскольку препринты не индексируются этой системой, то все ссылки на них не учитываются при подсчете ИЦ (сказанное в полной мере относится также к индексу Хирша).
Пример 2. Один американский ученый китайского происхождения (назовем его W) с высоким индексом цитируемости недавно написал много статей, которые назывались примерно так: «Новые точные решения уравнения (далее шло название уравнения)». Мой коллега профессор (назовем его K) обнаружил, что во всех этих статьях нет новых решений. В результате он опубликовал ряд статей, в которых было доказано, что в статьях W нет новых результатов. Через некоторое время K получил от W письмо примерно следующего содержания: «Ну что ты ко мне привязался? Знай, что все твои публикации, направленные против меня, повышают мой индекс цитируемости!».
Пример 3. Книги обычно являются итогом многолетней работы. Авторы часто включают в них ряд новых результатов, не опубликованных в других источниках (это приносит несомненную пользу, поскольку увеличивает число потенциальных читателей и, соответственно, тираж книги). Исключение книг при стандартной схеме подсчета ИЦ — очевидная нелепость, поскольку в ИЦ в полной мере учитываются обзорные статьи, вообще не содержащие новых результатов.
Замечание 1. Корпорация Thomson Reuters (США) — это сугубо коммерческая (а не научная) организация. Она получает весьма немалые деньги от научных, образовательных и других организаций за предоставление данных по импакт-факторам журналов и цитированию авторов на базе системы Web of Science. В настоящее время Thomson Reuters монополист в
указанной области информационных услуг. Система Web of Science не индексирует книги, поскольку они не являются периодическими изданиями, и не учитывает ссылки на них при подсчете индексов цитируемости и Хирша.
Интересно отметить, что указанные индексы с учетом ссылок на книги можно определить с помощью Web of Science, используя данные о «скрытых ссылках» (опция Cited Reference Search).
Замечание 2. Для определения индексов цитируемости и Хирша полезно использовать систему Google Scholar, созданную на основе наиболее мощной поисковой системы Интернета Google (http:// scholar.google.com). Google Scholar отличается от Web of Science тем, что:
• предоставляет необходимую информацию бесплатно;
• учитывает дополнительные публикации, которых нет в базе данных Web of Science.
В Google Scholar (с помощью опции My Citations) можно создать список цитируемых работ автора и автоматически вычислять индексы цити-руемости и Хирша. В качестве наглядного примера можно привести страницу http://scholar.google.ru/citations?user=bf6n9eMAAAAJ&hl=ru&oi=ao, созданную профессором А.В. Манжировым.
Для оценки деятельности широкого круга ученых, которые публикуются преимущественно в соавторстве (зачастую многочисленном), ИЦ практически бесполезен.
Отметим единственные полезные выводы, которые позволяет сделать ИЦ (с учетом всех видов публикаций ученого, включая статьи, книги и препринты). Если работы автора не цитируют или цитируются очень мало, то они:
• либо малоинтересны и никому не нужны;
• либо еще не востребованы (что бывает крайне редко).
Замечание 3. Данные Web of Science и любых других поисковых систем, включая Google Scholar, обязательно требуется проверять, поскольку при цитировании работ авторы публикаций нередко вносят различные неточности (не только в выходных данных и названии работы, но даже в фамилиях авторов, особенно если цитируется неанглоязычная статья). Наибольшие неточности возникают при цитировании книг (см. также пример 8).
Замечание 4. При сравнении индексов цитируемости российских и зарубежных ученых, а также импакт-факторов переводных российских и англоязычных журналов необходимо учитывать следующее важное обстоятельство. В ведущих зарубежных англоязычных журналах полный текст статьи обычно выкладывают в Интернете через 7-10 дней после ее одобрения редколлегией (необходимые исправления в статью вносят уже позже). В российских журналах обычно это происходит лишь через 5-10 месяцев после ее одобрения (сначала идет редактирование, затем набор, потом перевод на английский, после этого вносят исправления, и наконец статью выкладывают в Интернете). В итоге ученые читают англоязычные статьи, переведенные в России, намного позже, чем статьи, издаваемые непосредственно за рубежом. Это резко снижает импакт-факторы переводных российских журналов и цитирование статей по сравнению с англоязычными журналами.
Индекс Хирша (ИХ). Индекс Хирша (h-индекс) определяется так [1, 7]:
Ученый, опубликовавший N статей, имеет индекс h, если h его статей цитируются не менее чем h раз каждая, а любая из оставшихся (N - h) статей цитируется не более
чем h раз.
Для того чтобы определить индекс Хирша, статьи автора располагают в убывающем порядке по суммарному числу ссылок на каждую из них (статьи с одинаковым цитированием произвольно располагаются одна за другой и последовательно нумеруются). Имеем C — C — C — ■■■ (C — число ссылок на k-ю работу). Если есть статья, номер которой k совпадает с числом ее цитирований Ck, то это и есть индекс Хирша h = к = Ck. Если такой статьи нет, то индекс Хирша h равен номеру статьи k, для которой одновременно выполняются два неравенства: Ck > к, C¿+1 < к +1. Эти неравенства можно заменить одним условием: (Ck - к) (Ck+1 - к -1) < 0.
Индекс Хирша имеет достаточно сложную и неубедительную интерпретацию, которая непонятна подавляющему большинству специалистов, далеких от физики (включая, в первую очередь, людей, работающих в гуманитарных науках).
Индекс Хирша существенно зависит от области исследований. Например, в математике он значительно ниже, чем в физике, а в физике значительно ниже, чем в биохимии и медицине.
Индекс Хирша многократно критиковали в различных работах (см., например, [8-10]).
Основные недостатки использования индекса Хирша.
1. Индекс Хирша не учитывает информацию о наиболее важных высокоцитируемых работах.
2. Он не учитывает личный вклад автора (при подсчете ИХ все равно, написана ли статья десятью авторами или автор был один).
3. В стандартной схеме ИХ, используемой Web of Science, не учитываются ссылки на книги авторов. Не учитываются также ссылки в неанглоязычных источниках.
4. В индексе Хирша учитываются даже те ссылки, где статьи автора подвергаются серьезной критике и результаты считаются ошибочными или недостоверными.
5. ^андартная система подсчета ИХ не отличает цитирования данного ученого другими учеными от его самоцитирования. Это открывает возможности для искусственного увеличения ИХ.
6. Два человека с одинаковыми ИХ могут иметь полную (суммарную) цитируемость (ИЦ), отличающуюся в десятки раз (см. далее пример 4).
7. Сопоставление ученых по ИХ может приводить к совершенно абсурдным результатам (см. далее пример 5).
8. Цитирование статей из переводных российских журналов происходит двумя различными способами: либо указывается англоязычное название журнала, либо латинскими буквами дается его русскоязычное название. Система Web of Science воспринимает это как цитирование двух различных статей (при этом ИХ может уменьшиться).
Другие недостатки ИХ аналогичны недостаткам ИЦ, описанным в пп. 4-10 предыдущего раздела.
Рассмотрим несколько конкретных примеров, подчеркивающих существенные недостатки сопоставления деятельности ученых по ИХ.
Пример 4. Первый ученый написал в соавторстве 10 статей, каждая из которых цитируется 10 раз. Второй ученый без соавторов написал 10 статей, каждая из которых цитируется 100 раз, и 100 статей, каждая из которых цитируется 10 раз. Индексы Хирша у этих ученых одинаковы и равны 10. При этом полная цитируемость у них отличается в 20 раз в пользу второго ученого (даже без учета соавторства первого).
Пример 5. Первый ученый написал 5 книг, каждая из которых цитируется более 200 раз, а второй — одну статью, которая цитируется один раз. У первого ученого индекс Хирша равен нулю (поскольку книги не учитываются), а у второго — он больше и равен единице. При этом полная цитируемость этих ученых отличается более чем в 1000 раз в пользу первого ученого.
Отметим, что примеры 1-3 в полной мере справедливы и для индекса Хирша.
Простейшие попытки улучшить ИХ основаны на учете соавторов. В частности, вводился индивидуальный h-индекс [3], равный результату деления обычного ИХ на среднее число авторов в статьях, которые входят в Хирш-ядро публикаций (используемых для его вычисления). Предлагалась также модификация индивидуального ИХ: вместо полного числа цитирований каждой статьи использовать отношение числа цитирований к числу авторов публикации. Другие возможности учета числа соавторов обсуждаются в работе [7].
Следует отметить однако, что индекс Хирша и его модификации практически полностью игнорируют наиболее важную информацию о высокоцитируемых работах, которыми обычно гордятся ученые. Если бы аналог индекса Хирша использовался в спорте, то чемпионами были бы спортсмены, имеющие стабильные средние (а не максимальные) результаты.
Вывод: индекс Хирша абсолютно бесполезен для анализа эффективности деятельности научных работников, поскольку может привести не только к грубым ошибкам, но и к совершенно абсурдным результатам.
Для иллюстрации дополнительных проблем, которые мы пока не затрагивали и которые возникают при вычислении ИЦ и ИХ, попробуем разобраться в данных по цитированию Г.Я. Перельмана (см. пример 1). Система Web of Science приводит информацию по цитированию 20 публикаций, пять из которых надо сразу отбросить, поскольку они относятся к Галине Перельман или отличаются вторым инициалом. В остальных инициал или инициалы правильные, но либо есть года, когда Григорий Перельман уже перестал публиковаться, либо не совпадает тематика. Для того чтобы отсечь лишнее, надо смотреть исходные статьи в журналах (здесь нужен специалист, а не чиновник). Это наиболее простой пример, поскольку статей и однофамильцев мало.
Приведем некоторые наукометрические показатели Г. Перельма-на за 1980-2014 гг.:
ИЦ = 324 (по данным WoS), ИЦ = 1 600 (по данным [6]);
ИХ = 6 (по данным WoS), ИХ = 17 (по данным [6]).
Здесь указаны значения ИЦ и ИХ, которые выдает Web of Science (WoS) на всех Перельманов сразу (при этих расчетах не учитывались ссылки на публикации, которые не входят в базу Web of Science, хотя сами ссылки могли быть в журналах из этой базы). Значения ИЦ и ИХ Григория Перельмана по данным [6] учитывают скрытые ссылки из журналов, индексируемых Web of Science (см. далее замечание 5). Видно, что ИЦ и ИХ могут различаться в 3-5 раз в зависимости от способа подсчета. Исходя из результатов применения стандартной методики Web of Science можно сделать очевидный, но ошибочный вывод, что Г. Перельман самый заурядный специалист, а не выдающийся ученый. Неоднозначность интерпретации значений ИЦ и ИХ (и методов их подсчета) дает широкий простор для различных манипуляций чиновников от науки.
Нормированные индексы цитируемости. Чтобы учесть индивидуальный вклад ученого при наличии соавторов, надо общее число цитирований на данную статью поделить на число ее авторов (простой бытовой аналог: деление ящика яблок на несколько человек). Поэтому вместо индекса цитируемости следует использовать нормированный индекс цитируемости In, который учитывает наличие соавторов (нередко весьма многочисленных) и определяется так [6]:
N г
Jn =1C' (2)
Ы Mi
где N — общее число цитируемых работ; Ci — число ссылок на i-ю работу; M¡ — число соавторов i-й работы.
В формуле (2) помимо ссылок на статьи надо учитывать также ссылки на книги и препринты в статьях, которые имеются в базе ци-
тирования Web of Science (тогда будут исключены нелепости, подобные тем, которые имеют место с цитированием работ Г. Перельмана, см. пример 1).
Приведенная формула для In устраняет два наиболее существенных недостатка стандартного индекса цитируемости, указанных в пп. 1 и 2 первого раздела.
Основными недостатками нормированного индекса цитируе-мости являются:
• трудоемкость вычисления In при больших значениях N;
• трудоемкость проверки вручную приведенных в разных источниках данных In.
Для оценки деятельности ученых целесообразно использовать также величину InT — нормированный индекс цитируемости за определенный период (например, за последние пять лет, T = 5). Этот индекс является текущим показателем эффективности работы ученого за последнее время.
Замечание 5. Нормированный индекс цитируемости можно определить, используя данные о «скрытых ссылках» с помощью Web of Science (опция Cited Reference Search).
Замечание 6. Нормированные индексы цитируемости In и In7 некоторых российских ученых и другие интересные данные приводятся в Интернете [6]. Так, нормированный индекс цитируемости Г. Перельмана с учетом «скрытых ссылок» равен 1 332.
Замечание 7. Нормированные индексы цитируемости меньше зависят от области исследований, чем индекс цитируемости (ИЦ) и индекс Хирша. Это обусловлено тем, что в математике статьи чаще всего написаны одним автором, в физике работы достаточно часто имеют небольшое число соавторов, а в химии и медицине, как правило, статьи имеют много (иногда очень много) соавторов.
Если известен индекс цитируемости I, то нормированный индекс цитируемости In приближенно можно оценить по формуле
N
1 n = kNI, k'N = ~N , (3)
Z M
i=1
где ^ — коэффициент соавторства; N — общее число цитируемых работ; M¡ — число соавторов i-й работы.
Обычно при достаточно большом N коэффициент kN слабо меняется для данного автора (0 < kN < 1).
Использование индексов цитируемости для оценки работы коллективов. Нормированный индекс цитируемости легко и удобно использовать при оценке эффективности деятельности научных кол-
лективов (лабораторий, институтов и др.). При этом нормированный индекс цитируемости коллектива определяется простой суммой индивидуальных нормированных индексов цитируемости отдельных ученых, составляющих коллектив (индивидуальные ИЦ и ИХ при наличии соавторов в коллективе суммировать нельзя).
Полезно использовать также относительный (удельный) индекс цитируемости, который равен нормированному индексу цитируемости коллектива, деленному на число входящих в него людей.
Индекс максимальной цитируемости (/-индекс). Как было указано ранее, индекс Хирша уничтожает наиболее важную информацию о высокоцитируемых работах. Мы же считаем, что информация о высокоцитируемых работах должна быть основой для оценок эффективности деятельности научных работников.
В настоящее время существует ряд индексов, которые учитывают публикации с наибольшим цитированием (g-индекс и др.) [2-4]. Однако они достаточно сложны для интерпретации и практического использования.
Чтобы наиболее полно использовать информацию о самых цитируемых работах, надо взять несколько (например, пять) наиболее цитируемых работ автора и просуммировать на них ссылки с учетом
соавторства. В результате получим простую формулу
5 С
f = у^ С'max (4)
tt Mi ' w
где Cmax— число цитирований первых пяти публикаций с максимальным числом ссылок; Mi — число соавторов этих публикаций.
Величину (4) будем называть индексом максимальной цитируемости или f-индексом (буква f — сокращение от слова five). Этот индекс легко вычисляется и учитывает наиболее важные данные о вы-сокоцитируемых работах, которыми больше всего гордятся авторы (заметим, что эта информация полностью теряется при использовании индекса Хирша). Используя условную, но весьма наглядную аналогию со спортом, мы предлагаем учитывать лишь наивысшие (рекордные) результаты по цитированию.
Формулу (4) можно нормировать (поделить на число публикаций), что дает fn= f /5.
Первые пять публикаций с максимальным числом ссылок будем называть главными (или базисными).
Пример 6. Проиллюстрируем простоту и эффективность использования формулы (4) на примере публикаций профессора Н.А. Кудряшова (МИФИ). Используя данные Web of Science, за несколько минут находим пять публикаций с наивысшим цитированием (эти работы написаны без соавторов, количество ссылок на них: 66, 73, 84, 100, 201). По формуле (4) находим индекс мак-
симальной цитируемости: f = 524. Его значение составляет более 30 % от нормированного индекса цитируемости (2) (по данным [6]) и вполне достаточно для того, чтобы сделать заключение: Н.А. Кудряшов является крупным ученым. Для нормированного индекса максимальной цитируемости имеем ^ = 105. Важно отметить, что приведенные данные легко вычисляются и легко проверяются (для других наукометрических показателей сделать это значительно сложнее).
Полезно ввести также модифицированный индекс максимальной цитируемости (илиfm-индекс), который определяется так:
где используются первые пять публикаций с максимальным нормированным (на количество соавторов) числом ссылок.
При отсутствии соавторов, т. е. при M¿ = 1, формулы (4) и (5) совпадают. В общем случае выполняется неравенство fm > f.
Пример 7. Применим формулу (5) для анализа публикаций Г. Перельмана (результаты округляем до целых чисел). Исходя из данных Web of Science (опция Cited Reference Search) находим пять работ, написанных без соавторов, с цитируемостью C¿ = 56, 58, 58, 61, 125 (были отброшены три публикации с цитируемостью C¡ = 66, 83, 118, написанные в соавторстве и дающие меньшие отношения CjMi). В итоге по формуле (5) получим fm = 358 (использование
формулы (4) дает меньшее значение f = 302). Поделив fm на число публикаций (равное пяти), находим нормированный модифицированный индекс максимальной цитируемости fmn = 72.
Пример 8. Анализ публикаций академика Л.В. Овсянникова (по данным Web of Science, опция Cited Reference Search) дает пять работ, написанных без соавторов, с цитируемостью C = 41, 67, 91, 133, 199 (отброшена одна работа с цитируемостью C = 46, написанная в соавторстве). По формуле (5) находим индекс максимальной цитируемости fm = 531 и, соответственно,
Заметим, что на самом деле данные Л.В. Овсянникова по индексам fm и fmn сильно занижены. Здесь мы использовали англоязычный перевод фамилии Ovsyannikov, однако при цитировании часто встречается также альтернативный вариант Ovsiannikov. Если учесть оба варианта англоязычного написания фамилии, то надо брать данные C = 81, 91, 133, 199, 918. В результате получим fm = 1 422 и fmn = 284.
Возможные различные написания русскоязычных фамилий, переводимых на английский язык, необходимо учитывать при вычислении любых наукометрических показателей.
В таблице для сравнения приведены различные наукометрические показатели цитируемости упомянутых ранее ученых. В столбцах 2-4 используются результаты [6], полученные по данным Web of Science с использованием опции Cited Reference Search.
max
(5)
fmn = 106.
Различные наукометрические показатели некоторых ученых
Ученый Индекс цитируемости Индекс Хирша Нормированный индекс цитируемости fm-индекс, вычисленный по формуле (5) Нормированный fmn-индекс, равный 0,2 fm
1 2 3 4 5 6
Н.А. Кудряшов (Kudryashov) 1 878 20 1 415 524 105
Л.В. Овсянников 2 972 21 2 070 531 106
(Ovsyannikov) (см. пример 8) (см. пример 8)
Г.Я. Перельман (Perelman) 1 600 17 1 332 358 72
Видно, что у ученых, включенных в таблицу, для различных наукометрических показателей сохраняются свойства, выраженные неравенствами (т. е. если h-индекс у ученого A был больше, чем у ученого B, то и ^-индекс у ученого A будет больше). Это свидетельствует о предпочтительности использования индекса максимальной цитируемости, который легко интерпретируется и вычисляется значительно проще, чем другие наукометрические параметры.
Заключение. Нормированные индексы цитируемости являются существенно более точными наукометрическими показателями эффективности деятельности научных работников, чем стандартный индекс цитируемости, поскольку позволяют учесть наличие соавторов и охватить более широкий круг цитируемых работ. Однако они достаточно сложны для вычисления и проверки.
Индекс Хирша — нелепое наукообразие, его вообще следует исключить из анализа эффективности деятельности ученых [9, 10].
Целесообразно использовать легко интерпретируемые индексы максимальной цитируемости (4) и (5) (f- и fm-индексы), которые вычисляются просто и быстро, поскольку учитывают всего несколько базовых публикаций с наибольшим цитированием.
Важно отметить, что нормированный индекс цитируемости и индекс максимальной цитируемости (при всей их условности) являются более объективными показателями эффективности деятельности ученых, чем их должности, звания и ученые степени.
При разработке любых индексов цитируемости должен исповедоваться основной принцип: все равно в каком виде и где была опубликована научная работа, лишь бы ссылки на нее были в статьях, индексируемых базой Web of Science (или другой используемой базой данных). Такой подход опирается на очевидный факт: результаты работы никоим образом не зависят от места и формы ее опубликования.
Полезно привести слова Вернера Бальмана, директора немецкого Математического института Макса Планка (это один из самых авторитетных математических институтов) [11]: «Библиометрические данные — это опасное оружие (тем более в руках неэкспертов)...» Проводить анализ наукометрических показателей, а также контролировать их грамотное использование при оценке эффективности деятельности научных работников и преподавателей вузов должны обязательно квалифицированные специалисты в соответствующей области знаний (при необходимости с учетом дополнительных экспертных оценок). Попытка создания карты российской науки убедительно показала недопустимость привлечения к подобной деятельности людей без надлежащего образования и квалификации [12].
ЛИТЕРАТУРА
[1] Hirsch J.E. An index to quantify an individual's scientific research output. Proc. Nat. Acad. Sci, 2005, vol. 102(46), pp. 16569-16572. URL: http://arxiv.org/abs/physics/0508025
[2] Egghe L. Theory and practise of the g-index. Scientometrics, 2006, vol. 69, no. 1, pp. 131-152.
[3] Цыганов А.В. Краткое описание наукометрических показателей, основанных на цитируемости. Управление большими системами, 2013, вып. 44, с. 248261.
[4] Штовба С.Д., Штовба Е.В. Обзор наукометрических показателей для оценки публикационной деятельности ученого. Управление большими системами, 2013, вып. 44, с. 262-278.
[5] Игра в цыфирь, или Как теперь оценивают труд ученого. Сб. статей. Москва, МЦНМО, 2011, 72 c. URL: http://eqworld.ipmnet.ru/ru/info/ bibliometric.pdf
[6] Индексы цитирования работ российских ученых (проекты «Кто есть кто в российской науке» и «Корпус экспертов»). URL: http://expertcorps.ru/ science/whoiswho (дата обращения 10.12.2013).
[7] Hirch J.E. An index to quantify an individual's scientific research output that takes into account the effect of multiple coauthorship. Scientometrics, 2010, vol. 85, p. 741.
[8] Rousseau R., Garcia-Zorita C., Sanz-Casado E. The h-bubble. Journal of Informetrics, 2013, vol. 7, pp. 294-300.
[9] Георгиев Г. Индекс Хирша надо исключить из оценки ученых. Наука и технологии России, 2011, 17 нояб. URL: http://www.strf.ru/ material.aspx?CatalogId=221&d_no=43481#.UzFTbYX4Gm9
[10] Полянин А.Д. Об индексе Хирша и других наукометрических показателях. Научное сообщество, 2013, № 8-9, с. 20-22.
[11] Неретин Ю. Великий библиометрический джихад. Независимая газета, 2013, 10 дек.
[12] Котляр П. Физики-гинекологи и математики-литераторы. Ученые раскритиковали проект «Карта российской науки». Газета.Ру, 2013, 27 нояб. URL: http ://www. gazeta. ru/science/2013/11/27_a_5771569.shtml
Статья поступила в редакцию 14.12.2013
Ссылку на эту статью просим оформлять следующим образом:
Полянин А.Д. Недостатки индексов цитируемости и Хирша и использование других наукометрических показателей. Математическое моделирование и численные методы, 2014, № 1, с. 131-144.
Полянин Андрей Дмитриевич родился в 1951 г., окончил МГУ им. М.В. Ломоносова в 1974 г. Д-р физ.-мат. наук, профессор, главный научный сотрудник Института проблем механики им. А.Ю. Ишлинского РАН, профессор кафедры «Прикладная математика» МГТУ им. Н.Э. Баумана. Автор более 30 монографий и справочников, опубликованных в России, США, Англии, Германии и Болгарии, 160 статей в рецензируемых журналах и трех изобретений. Области научных интересов: дифференциальные и интегральные уравнения, математическая физика, гидродинамика, теория тепло- и массопереноса, химическая технология. е-mail: polyanin@ipmnet.ru
Disadvantages of citation index and Hirsch and using other scientometrics
© A.D. Polyanin
Ishlinsky Institute for Problems in Mechanics, Moscow, 119526, Russia Bauman Moscow State Technical University, Moscow, 105005, Russia
The paper deals with the citation index and h-index, which are the main scientometric indices, currently used for evaluating the performance of scientists and university professors. The author indicates their main disadvantages and considers a number of illustrative examples. The study shows that the normalized citation index (taking into account the presence of co-authors) has a number of important advantages in comparison with other scientometric indices. The author proposes new indices — the maximum citation indices, which can be easily calculated, have a simple and clear interpretation and have a number of distinct advantages in comparison with the h-index.
Keywords: citation, scientometric indice, Hirsch index, performance evaluation, the maximum citation indexes.
REFERENCES
[1] Hirsch J.E. Proc. Nat. Acad. Sci., 2005, vol. 102(46), pp. 16569-16572. URL: http://arxiv.org/abs/physics/0508025
[2] Egghe L. Scientometrics, 2006, vol. 69, no. 1, pp. 131-152.
[3] Tsyganov A.V. Upravlenie bol'shimi sistemami - Control of large systems, 2013, iss. 44, pp. 248-261.
[4] Shtovba S.D., Shtovba E.V. Upravlenie bol'shimi sistemami — Control of large systems, 2013, iss. 44, pp. 262-278.
[5] Sbornik "Igra v tsyfir', ili kak teper' otsenivaiut trud uchenogo" [Coll. art. "Playing figures, or as we now estimate the scientist's work"], Moscow, MTsNMO Publ., 2011, 72 p.
[6] Indeksy tsitirovaniia rabot rossiiskikh uchenykh (proekty "Kto est' kto v rossiiskoi nauke" i "Korpus ekspertov") [Citation indkes in works of Russian scientists (project "Who's who in Russian science" and "Experts corpus")]. URL: http://expertcorps.ru/science/whoiswho
[7] Hirch J. E. Scientometrics, 2010, vol. 85, p. 741.
[8] Rousseau R., Garcia-Zorita C., Sanz-Casado E. Journal of Informetrics, 2013, vol. 7, pp. 294-300.
[9] Georgiev G. Indeks Khirsha nado iskliuchit' iz otsenki uchenykh [Hirsch index should be excluded from the evaluation of scientists]. Nauka i tekhnologii Rossii — Science and technologies of Russia, 17 November 2011.
[10] Polianin A.D. Nauchnoe soobshchestvo - Scientific community, 2013, no. 8-9, pp. 20-22.
[11] Neretin Yu. Nezavisimaia gazeta - Independent paper, 10 December 2013.
[12] Kotliar P. Fiziki-ginekologi i matematiki-literatory. Uchenye raskritikovali proekt «Karta rossiiskoi nauki» [Physicists-gynecologists and mathematicians-writers. Scientists have criticized the project "Map of Russian science."]. Gazeta.Ru, 27 November 2013.
Polyanin А.D. (b. 1951) graduated from the Lomonosov Moscow State University in 1974. D. Sc., Professor, principal researcher at the Institute for Problems in Mechanics, Professor of the Department of Applied Mathematics at Bauman Moscow State Technical University. Author of more than 30 books in Russia, USA, England, Germany and Bulgaria as well as over 160 research articles and three patents. Areas of expertise: differential and integral equations, mathematical physics, hydrodynamics, the theory of heat and mass transfer, chemical engineering sciences. e-mail: polyanin@ipmnet.ru
