CC BY
203
ОТ РЕДАКЦИИ
Редакция предлагает читателям статью из журнала «Высшее образование в России» (№3, 2012 г.), печатающуюся с любезного согласия его главного редактора М.Б.Сапунова
УДК 332.01+001.8
Бедный Б.И., Сорокин Ю.М.
О ПОКАЗАТЕЛЯХ НАУЧНОГО ЦИТИРОВАНИЯ И ИХ ПРИМЕНЕНИИ *
Обсуждаются показатели научного цитирования, применяемые для количественной оценки результативности научной деятельности. Понятие «импакт-фактор » рассматривается как группа показателей, различающихся алгоритмом вычисления. Проанализированы свойства индекса Хирша. Показано, что значения показателей, связанных с измерением количества публикаций и ссылок (цитирований), существенно зависят от выбора библиографической рейтинговой базы, на которой они рассчитываются. Оцениваются возможности и ограничения для применения наукометрических показателей в вузовской практике
Ключевые слова: научный журнал, цитируемость, рейтинговая база, классический импакт-фактор, импакт-фактор предметной области, относительный импакт-фактор, индекс Хирша.
В последние годы в связи с расширением конкурсного финансирования научных исследований и разработок научные работники и преподаватели высшей школы все чаще обращаются к наукометрическим показателям (индикаторам), применяемым для количественной оценки результативности научной деятельности организаций, научных коллективов и отдельных исследователей. При подготовке заявок на выполнение научных проектов и отчетных документов по выполненным проектам обычно необходимо указывать количество научных статей, отражаемых в определённых международных и российских базах данных, импакт-факторы журналов, в которых эти статьи опубликованы, показатели цитирования и индексы Хирша руководителей и основных исполнителей проектов.
Однако, судя по тому, какие показатели запрашиваются организаторами конкурсов, а также поличному опыту авторов этой статьи, многократно обсуждавших вопросы практического применения наукометричес-
* Авторы выражают признательность М.Б.Сапунову, инициировавшему постановку вопросов, рассмотренных в данной статье.
ких показателей с университетскими коллегами и сотрудниками академических институтов, далеко не все, кто оперирует этими показателями, имеют ясное представление об их смысле, методике измерения и значимости при решении тех или иных задач в области организации научных исследований.
Известно, что, несмотря на колоссальный прогресс в развитии науки, она до сих пор не смогла найти оптимальный способ измерения значимости собственных результатов, качества научной продукции ученых, их вклада в новое научное знание. Одной из шкал для оценки научной продуктивности является число публикаций в авторитетных научных изданиях и журналах, осуществляющих содержательную экспертизу поступающих в редакцию статей (эта шкала традиционно используется руководством вузов при проведении конкурсных процедур по замещению вакантных должностей профессорско-преподавательского персонала). Вместе с тем, как писал один из основоположников науковедения Д.Прайс, «с самого начала и с величайшей готовностью согласимся, что это плохая шкала. Кто бы осмелился уравновесить одну статью Эйнштейна по теории относительности хотя бы сотней статей бакалавра Джона Доу о константах эластичности для различных древесных пород в лесах Нижнего Базутоленда, по одной константе на статью. Кроме того, шкала плоха уже потому, что само ее существование толкает людей на публикации просто ради престижа. Но при всем том шкала дает все же исходный пункт для анализа... поскольку существует довольно строгое соотношение между элитностью ученого и его продуктивностью как автора статей» [1, С.317].
По мере глобализации науки, стремительного роста объёма научной периодики и сокращения времени обмена информацией значимость метода подсчета публикаций в научных журналах падает. Во-первых, требует уточнения само понятие «научный журнал». Попытка такого рода уточнения (фильтрации) научных изданий проведена, например, ВАК в виде условий, необходимых для их включения в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертаций (так называемый Перечень ВАК) [2]. Во-вторых, научный уровень рецензирования поступающих в редакцию материалов не может быть сопоставимым для разных журналов. Чем выше уровень журнала, тем более качественную экспертизу статей он проводит. В результате для любой области исследований в научном сообществе, в разных его группах давно и устойчиво существует некий интуитивный рейтинг профильных журналов, не
имеющий, однако, количественного выражения. Этот рейтинг наук влияет на практику оформления научных результатов и их использования, но за пределами другой науки (научного направления, дисциплины, специальности) не информативен.
Идея придания рейтингу научных журналов универсального количественного выражения принадлежит Ю.Гарфилду [3; 4]; В 1963 г. эта идея была реализована в экспериментальном порядке, а с 1964 г. возглавляемый им Институт научной информации в Филадельфии стал регулярно выпускать так называемый «Индекс научных ссылок» (Science Citation Index, SCI). В этом ресурсе систематизирована информация о цитировании научных статей по библиографической базе данных, которая первоначально охватывала около 600 научных журналов. Выросший отсюда современный библиографический ресурс Web of Knowledge компании Thomson Reuters, включающий, в частности, базу Web of Science (WoS) с библиометрическим инструментов Journal Citation Reports (JCR), учитывает («расписывает») более 12000 наиболее авторитетных в мире научных журналов. Сегодня по широте охвата научной периодики с этим ресурсом конкурирует лишь созданный гораздо позднее европейской компанией Elsevier ресурс SCOPUS (SCP).
Идея Гарфилда заключалась в оценке значимости научного материала (статьи, журнала) по числу его упоминаний (ссылок, цитирований) в научной периодике. Отметим, что с позиций наукометрии, рассматривающей науку как информационный процесс, цитируемость действительно является мерой полезности публикации [5]. Как известно [6], упоминание в ссылках работ предшественников и коллег является нормой, обязательной для научной публикации. Поэтому подсчет количества ссылок (метод «цитат-индекс» [7]) позволяет оценить влияние публикации или группы публикаций на развитие науки как информационного процесса, выявить и оценить воздействие результата на научное сообщество, его полезность для других ученых. Конечно, высокая цитируем ость - это еще не гарантия какого-то особого качества работы, это лишь сигнал, свидетельствующий о том, что данная работа с большой вероятностью может оказаться полезной для развития научного знания. Использование для этой цели других сигналов, генерируемых, например, инструментарием семантических сетей [8], может только приветствоваться, если соответствующая идея обретёт черты объективного алгоритма, исключающего корпоративные интерпретации и административную составляющую. При этом следует иметь в виду, что указанный алгоритм, неизбежно исполь-
зующий аппарат теории графов, будет явно уступать методу «цитат-индекс» в смысле прозрачности.
Подсчет цитирования публикаций не призван заменить их оценку. Он, скорее, расширяет возможности таких оценок, делая их более объективными [9]. В определенной степени «цитат-индекс» - это завуалированный метод экспертных оценок, и, естественно, он включает элемент субъективности, которая, однако, «... гасится на больших массивах публикаций в результате усреднения экспертиз разных авторов» [7]. Поэтому для проведения формальных оценок результативности научной деятельности и авторитетности ученых важно измерять не столько цитируемость отдельных работ, сколько цитируемость значительных массивов публикаций (авторов, научных коллективов, научных журналов). Вместе с тем отметим, что в социологии науки надежно доказана высокая степень корреляции между цитируемостью публикаций и общественным признанием вкладов их авторов в развитие науки [10; 11].
Различные методики подсчета цитирований научных публикаций получили в настоящее время широкое признание не потому, что полученные с их помощью оценки являются однозначными или исчерпывающими, а потому, что они являются пока единственными формализованными оценками научных результатов средствами самой науки.
Система показателей, основанных на подсчете числа ссылок и цитат, библиометрическая по методам, наукометрическая по целям, продолжает развиваться (см., например, [12-16]). Не претендуя на полноту изложения, далее мы остановимся на анализе лишь двух наиболее распространенных сегодня показателей - «импакт-фактор» и «индекс Хирша». Эти показатели алгоритмически просты, имеют ясный и наглядный смысл и наиболее часто используются при проведении оценок результативности научной деятельности.
Импакт-факторы и рейтинговые базы
Среднюю цитируемость опубликованных в журнале статей (количество ссылок в расчете на одну статью) принято называть импакт-фактором этого журнала. Значение импакт-фактора характеризует важность, авторитетность научного журнала. Применяются разные алгоритмы подсчета импакт-фактора, отличающиеся процедурой усреднения. Поэтому правильнее говорить об импакт-факторе как о группе понятий, определяемых параметрами усреднения. Дадим определение импакт-фактора, обоб-
щающее формулировку, предложенную в [17; l8].
Пусть S - библиографическая рейтинговая база, используемая при подсчётах, PUBs (t) - число статей, опубликованных данном журнале в году t и включенных («расписанных») в S (не любая публикация учитывается и включается в базу данных; это зависит от установленных при ее формировании правил), CITS (T, t) - число ссылок (цитирований), сделанных в году T на все статьи из группы PUB(t) во всех расписанных в S журналах. Тогда импакт-фактор данного журнала:
2" CITS(T,T — т) ^)=g=>Bs(r_T)
Здесь т - время запаздывания ссылок, т0 - параметр запаздывания (минимальное время запаздывания ссылок, принятое при подсчете конкретного импакт-фактора), n - порядок импакт-фактора (максимальное время запаздывания, выбранное при подсчете импакт-фактора; этот параметр характеризует ширину интервала усреднения «окно цитирования»). По смыслу введенных параметров Т, т, п - целые числа, причем т > т0, а п > т.
Согласно (1) импакт-фактор порядка n за год Т может быть определён на библиографической рейтинговой базе данных S при условии, что эта база содержит данный журнал не только за год Т, но и, по крайней мере, за n лет, предшествующих году Т.
Как видно из (1):
• для одного и того же журнала можно определить множество им-пакт-факторов (однако лишь некоторые из них получили широкое распространение);
• любой конкретный импакт-фактор является функцией времени (года цитирования Т);
• импакт-фактор может быть вычислен не только для журнала, но и для иного объекта (группы журналов, страны, корпорации), если только количество публикаций для этого объекта в «окне цитирования » не является нулевым.
«Классический» импакт-фактор (по Гарфилду [4]) определяется из (1), если т0 = 1, п = 2. Смысл его очень прост: число ссылок, полученных в году Т из всех расписанных в базе журналов, на статьи, опубликованные в обследуемом журнале в течение двух предыдущих лет, делит-
ся на число этих самых статей. Таким образом, окно цитирования принимается равным двум годам, а параметр запаздывания ссылок - одному году. Под термином «импакт-фактор», если не сделано каких-либо уточнений, принято подразумевать именно этот показатель.
В связи с определением термина «импакт-фактор» отметим некоторые важные обстоятельства, не слишком известные широкой аудитории, оперирующей этим понятием.
1. Определение импакт-фактора теряет смысл без указания на библиографическую базу S. Значение импакт-фактора журнала существенно зависит от выбора библиографической рейтинговой базы, на которой он рассчитывается. Поэтому при сравнении импакт-факторов разных журналов строится количественный рейтинг на априорно выбранной базе S.
2. Важнейшими признаками авторитетности базы являются представительность, полнота и качество расписанного в ней контента.
3. Представительная база должна быть международной и мульти-дисциплинарной, иначе само понятие импакт-фактора теряет отношение к науке. Сужение границ представительности по национальному или тематическому признаку приводит к искажённым (в смысле пригодности для сравнения) результатам.
4. Условие полноты означает наличие в базе достаточно глубокого архива журналов и сохранение данных о каждой публикации по всем библиографическим признакам.
5. Условие высокого качества контента означает, что рейтинговая база должна обязательно содержать «входной фильтр», обеспечивающий отбор расписываемых журналов как по формальным, так и по содержательным признакам. При нарушении регулярности выхода номеров журналов и сроков их поступления в базу теряется сопоставимость показателей (1) во времени. При нарушении требований к оформлению материалов происходит потеря или искажение данных при алгоритмической обработке. При отсутствии содержательного фильтра базе грозит быстрое «зашумление».
Одним из критериев отбора журналов, принятых в базах WoS и SCP, является превышение импакт-фактором журнала-кандидата некоего минимального (порогового) значения [ 19-22].
В качестве иллюстрации представительности отметим, что базы WoS и SCP в настоящее время расписывают приблизительно одинаковую по значимости совокупность: более 12 тыс. журналов из примерно 100
тыс. журналов, выходящих в мире (фильтр SCP более мягкий, общее количество журналов здесь больше, отмечается существенный крен в сторону европейской периодики). При этом в обеих базах отсутствуют как национальные, так и предметные «провалы». Есть все основания считать эти базы лидерами по представительности (следует упомянуть о сопоставимой представительности Google Scholar, однако этот ресурс не имеет ни ссылочного научного инструментария, ни собственной чётко очерченной базы источников, ни каких бы то ни было входных фильтров; он работает как мощный гипертекстовый поисковик и для наукометрического анализа непригоден). Однако, если ставить узкую цель поиска по автору, теме или публикации, ни один из лидеров не может считаться доминирующим по представительности [23]. С точки зрения представительности заметным недостатком всех упоминаемых рейтинговых баз является почти полное отсутствие в них монографий (в базах WoS и SCP процесс их ввода начался сравнительно недавно), что особенно существенно в гуманитарной области, где новые научные результаты нередко отражаются именно в этом классе публикаций.
Конечно, условие представительности находится в определённом противоречии с качеством контента базы. Баланс этих двух требований главным образом и определяет неформальный рейтинг базы. Более мягкий по сравнению с WoS, фильтр SCP (об этом можно судить хотя бы по тому, что число российских журналов, расписанных в SCP, примерно вдвое больше, чем в WoS) отражает конкурентную политику более молодой европейской базы.
По критерию полноты база SCP существенно уступает WoS из-за разной глубины архивов: в SCP глубина архива -1995 г., WoS - 1979 г. Фактический архив этих баз глубже декларируемого, однако архив предыдущих лет не удовлетворяет всем требованиям полноты. Там либо не представлены все включённые в базу источники (SCP), либо из всех авторов публикации отражён лишь первый (WoS).
Отметим еще одно важное для корректного расчета импакт-фактора обстоятельство. В базе, реализующей алгоритм (1), должна быть определена дата обновления данных. Поскольку для подсчёта IFn(T,S) надо иметь библиографические данные на все выпуски включённых в базу журналов за год обследования, требуется высокая оперативность всех элементов цепочки: «выход журналов - внесение данных в базу -подсчёт IFn». Вероятно, любому читателю этой статьи известны российские научные журналы, заведомо не удовлетворяющие критерию опера-
тивности выхода всех номеров, принятому в базах JCR и SCP. И это одна из многих проблем национальной, пока более скромной во всех отношениях базы «Российский индекс научного цитирования» (РИНЦ). «Особенностью национальной научной периодики» (по крайней мере, значительной её части), отражаемой в РИНЦ, является то, что используемые при обработке данных электронные версии многих российских журналов запаздывают даже по отношению к печатным, тогда как в остальном мире имеет место обратное. Глубину архивов и полноту отражения для РИНЦ в целом оценить затруднительно: в настоящее время она очень неровная, хотя по каждому источнику в отдельности соответствующую информацию получить можно. В качестве иллюстрации неполноты отметим, что значительная часть отражённых в РИНЦ публикаций представляет собой ссылочные источники (то есть источники, отражённые на основании ссылочных списков расписанных в базе статей). В связи с отсутствием процедуры содержательной фильтрации [24] база РИНЦ сегодня учитывает около 7 тыс. только российских журналов.
Если говорить о представительности лидирующих международных рейтинговых баз по отношению к российской науке, то, по данным [22], в 2011 г. в базе SCP учитывались 237, а в базе WoS - 117 текущих («активных») российских научных журналов. При этом импакт-факторы этих журналов постепенно возрастают. Если в 1995 г. количество российских журналов с IF2 (1995, JCR ) > 0,25 и IF2 (1995, JCR ) < 0,1 было примерно одинаковым, то в 2004 г. число российских журналов с IF2 (2004, JCR ) >
0,25 приблизительно в 6 раз превосходило число журналов с IF2 (2004, JCR ) < 0,1 [25]. Нами отмечены 107 российских журналов в Указателе цитирования по точным и естественным наукам (подбаза JCR Science Edition) с IF2 (2007, JCR) от 0,02 до 2,03 и 6 российских журналов в подбазе JCR Social Science Edition с IF2 (2007, JCR) от 0,02 до 1,58.
С учётом того, что значительная часть работ российских учёных, специализирующихся в области точных и естественных наук, публикуется в зарубежных журналах, имеющих достаточно высокие импакт-факторы, представительность этих областей российской науки в базах-лидерах можно признать вполне адекватной. К сожалению, этого нельзя сказать о социогуманитарных дисциплинах, где в качестве библиографической рейтинговой базы целесообразно выбирать РИНЦ.
Сказанное выше о представительности, глубине архивов и контенте рейтинговых баз вовсе не означает отрицание ценности тех из них, которые имеют ограниченную представительность, недостаточно глубокий
архив или слишком мягкий входной фильтр. Поисковый аппарат базы, доступ к контенту - это непосредственное информационное обеспечение научных исследований, Речь идёт только о несопоставимости наукометрических показателей, вычисленных по единому алгоритму на различных базах. В качестве иллюстрации в табл. 1 приведены некоторые российские журналы, импакт-факторы которых в базе существенно выше, а в
табл. 2 - существенно ниже, чем в базе РИНЦ.
Таблица 1. Некоторые российские журналы, импакт-факторы которых в РИНЦ ниже, чем в JCR
Наименование журнала Щ (2007, .ГСК ) Щ (2007, РИНЦ)
Успехи физических наук 2,032 0,514
Успехи химии 1,893 1,049
Журнал экспериментальной теоретической физики 1,075 0,473
Теоретическая и математическая физика 1,012 0,045
Квантовая электроника 0,985 0,296
Успехи математических наук 0,309 0,103
Таблица 2. Некоторые российские журналы, импакт-факторы которых в РИНЦ выше, чем в JCR
Наименование журнала Щ (2007, .ГСК ) Щ (2007, РИНЦ)
Вопросы психологии 0,112 0,831
Журнал органической химии 0,477 0,575
Высшее образование в России - 0,542
Дефектоскопия 0,156 0,383
Социологические исследования 0,194 0,299
Университетское управление: практика и анализ - 0,278
Известия РАН. Теория и системы управления 0,145 0,254
«Неклассические» импакт-факторы
Классический (двухлетний) импакт-фактор является наиболее известным алгоритмом оценки рейтинга журнала. Однако широко используются также иные показатели этой группы, отличающиеся выбором параметров усреднения. Рассмотрим особенности этих «неклассических» библиометрических показателей.
1. Пятилетний импакт-фактор. Согласно определению (1), пятилетний импакт-фактор - это показатель 1Г5 (Т, S), в котором окно цитирования расширено до пяти лет, а параметр запаздывания ссылок т0 остается равным единице. Ранжирование по пятилетнему импакт-фактору снижает рейтинг журналов, получающих основное число ссылок на статьи менее чем трёхлетней давности, и повышает рейтинг журналов, на статьи в которых следует более медленная реакция научного сообщества. Так, на-
пример, соотношение Ш5 (Т, ) > Ш2 (Т, ) характерно для подавляющего числа мировых журналов по менеджменту [12]. Следует ожидать такого же результата и для других социальных и гуманитарных наук.
Для журналов с достаточно высоким рейтингом различия пятилетнего и классического импакт-факторов, как правило, невелики, причём отклонения могут быть в обе стороны. Заметим, что одной из причин, повышающей пятилетний импакт-фактор некоторых журналов по отношению к классическому, является большое время прохождения рукописей (причина не столько научного, сколько организационного свойства, характерная для многих российских журналов). Как видно из табл.3, для обзорных журналов, получающих большое число ссылок в отечественной периодике, характерно превышение пятилетнего импакт-фактора по отношению к классическому, тогда как один из наиболее оперативных российских журналов («Письма в Журнал экспериментальной и теоретической физики») демонстрирует заметное превышение классического им-пакт-фактора над пятилетним. Таким образом, соотношение этих двух формальных показателей зависит и от качества публикаций в том или ином журнале, и от организации процесса прохождения рукописей в ссылочной периодике.
Таблица 3. Классические и пятилетние импакт-факторы некоторых российских журналов
Наименование журнала Щ (2010, ЛСЖ ) Щ (2010, ЛСЖ )
Успехи физических наук 2,245 2,531
Успехи химии 2,346 2,827
Письма в Журнал экспериментальной и теоретической физики 1,557 1,329
Журнал аналитической химии 0,650 0,647
Социологические исследования 0,147 0,135
Отметим, что преимуществом пятилетнего импакт-фактора является сглаживание выбросов от отдельных статей с аномальной цитируе-мостью (наибольшее известное значение классического импакт-фактора 1Р2 = 90 явилось следствием публикации статьи, получившей тысячи ссылок в течение года). Недостатком же пятилетнего импакт-фактора можно считать слишком большое запаздывание (не менее 6 лет) при отражении в рейтинге новых журналов, какое бы признание за это время они ни завоевали.
2. Оперативный импакт-фактор. В последнее время быстро увеличивается число цитирований статей, вышедших в том же году. Это связано с ускорением производственного цикла многих научных издательств, а
также с публикацией некоторыми издательствами предварительных версий принятых в печать статей. Показатель, отражающий столь оперативную реакцию научного сообщества с точки зрения общего определения (1), есть IF0 (T, S), где параметр запаздывания ссылок т0 и порядок им-пакт-фактора n приняты равными нулю (т0= n =0). По общему смыслу представляется логичным называть этот показатель оперативным импакт-фактором (альтернативные названия: immediacy index - в базе JCR , индекс оперативности [12]). Естественно, что значения оперативного импакт-фактора обычно намного меньше, чем классического (табл.4).
Таблица 4. Оперативные и классические импакт-факторы некоторых российских журналов
Наименование журнала IF0 (2010, JCR ) IF2 (2010, JCR )
Успехи физических наук 0,651 2,245
Успехи химии 0,057 2,346
Письма в Журнал экспериментальной и теоретической физики 0,232 1,557
Письма в Астрономический журнал: астрономия и классическая астрофизика 0,286 1,091
Океанология 0,324 0,581
3. Медианный импакт-фактор. Ретроспектива цитирования в году Т статей из определённого журнала, опубликованных в предыдущие годы, отражается специфическим для данного журнала распределением C1Ts (Т, Т- т), форма которого может быть самой разной. Если статьи, опубликованные в данном журнале за период от года Т до некоторого года Т- тт, получают половину общего числа ссылок на данный журнал в году T, то значение тт называется медианой цитирования (median cited age [16]). Значение тт соответствует году T, разделяющему все ссылки на данный журнал в году Т на две равные части. Как видно из определения, тт характеризует время старения информации, опубликованной в данном журнале.
Ясно, что по общему алгоритму (1) на базе S можно вычислить им-пакт-фактор, для которого при параметре запаздывания т0= 0 ширина окна цитирования будет равна медиане цитирования (n= тт):
JP (Т ОЛ _ £т=оCITS(T,T—t)
ml # ) £г,п рив5(Т-т)
Этот импакт-фактор по предложению РРуссо [16] и принято называть медианным. Медианный импакт-фактор имеет то преимущество, что он «подстраивает» окно цитирования под время старения информации в
конкретной предметной области, к которой относится журнал (а эти времена для разных предметных областей сильно различаются), - в отличие от рассмотренных выше импакт-факторов с априори заданными окнами цитирования. Это позволяет считать медианный импакт-фактор предпочтительным для наукометрических оценок в области гуманитарных и общественных наук.
Цитируемость. Относительный импакт-фактор
Модный термин «импакт-фактор» зачастую применяют и к авторам, и к научным учреждениям (корпорациям), и к университетам (при этом ясное понимание смысла применяемого термина зачастую отсутствует). Как уже отмечалось, термин «импакт-фактор» без уточнений означает классический IF2 (T, S). Разумеется, его численное значение можно подсчитывать и для автора, и для корпорации, но только по общему алгоритму (1) и с указанием библиографической базы данных. Однако для автора (или небольшой научной организации) этот показатель вполне может быть не только нулевым, но и неопределённым (если в течение двух лет подряд нет опубликованных работ). Кроме того, следует иметь в виду, что при таком применении понятия «импакт-фактор» равные значения этого показателя будут у автора, опубликовавшего за два года одну статью, получившую одну ссылку, и у автора, опубликовавшего за тот же период 10 статей, получивших 10 ссылок. Поэтому применение понятия «импакт-фактор» к а вторам и корпорациям не представляется конструктивным.
Нередко под вывеской «импакт-фактор» выдаётся среднее число ссылок 6 расчете на одну статью (автора, научно-исследовательского института, университета) независимо от времени цитирования и времени публикации этих статей. Однако это совсем иной показатель, не сводящийся к (1) ни при каких значениях параметров. Он вычисляется в WoS и называется Average Citations per Item. Ha наш взгляд, оптимальным русским эквивалентом этого названия может быть термин «цитируемость».
В отличие от авторов и корпораций, для журналов величина знаменателя в определении (1) относительно стабильна. Поэтому вполне корректно и плодотворно применение понятия «импакт-фактор» к такому объекту, как группа журналов, объединённых общин признаком. Таким признаком может быть предметная область. В качестве примера можно привести систематизацию в JCR примерно 10000 журналов по 230 предметным областям. Для сформированных таким образом групп (предмет-
ных областей) можно вычислить любой из перечисленных выше показателей. В настоящее время в JCR выводятся следующие наукометрические показатели предметных областей:
• медианный импакт-фактор (Median Impact Factor);
• классический импакт-фактор (Aggregate Impact Factor);
• оперативный импакт-фактор (Aggregate Immediacy Index);
• медиана цитирования (Aggregate Cited Half-Life).
Поскольку публикационная активность ученых и традиции в цитировании публикаций предшественников и коллег имеют существенную дисциплинарную дифференциацию, сравнение наукометрического показателя конкретного журнала с соответствующим показателем предметной области позволяет более корректно оценить рейтинг журнала на мировом научном поле. Отношение импакт-фактора журнала к импакт-фактору предметной области естественно назвать относительным импакт-фактором IFr n (T, Л) (с сохранением указанных выше атрибутов порядка n, запаздывания т0 и рейтинговой базы S).
Например, относительный классический импакт-фактор журнала «Успехи физических наук» (см. табл. 3) в предметной области Physics, Multidisciplinary, имеющей импакт-фактор IF2 (2010, JCR) = 2,798, составляет IFr2 (2010, JCR )=0,8.
Индекс Хирша
Результаты научной деятельности авторов или организаций формально можно отражать числом публикаций (за все годы или за последние пять лет, как это принято в российской высшей школе) безотносительно к востребованности этих результатов. В той мере, в какой мы доверяем ци-тируемости как критерию востребованности и значимости публикаций, результаты научной деятельности можно характеризовать средним числом цитирований в расчете на одну публикацию, общим числом цитирований или цитирующих статей (с учетом или без учета самоцитирования и цитирования соавторами), а также их распределениями по годам»
В 2005 г. к показателям цитирования научных публикаций добавился быстро завоевавший признание показатель, получивший в англоязычных источниках название h-index, а в России более известный как «индекс Хирша» (по имени предложившего его учёного [26]). Этот показатель вычисляется на основе анализа распределения цитирований работ автора или организации.
Согласно данному Хиршем определению, автор (организация) имеет индекс h если h из его статей цитируются не менее h раз каждая, в то время как оставшиеся статьи цитируются не более чем h раз каждая.
При подсчете индекса Хирша можно воспользоваться эквивалентным данному в [26], но более наглядным определением этого показателя: «индекс Хирша - это число статей, цитируемость которых не меньше их порядкового номера в ранжированном по цитированию списке публикаций». Таким образом, алгоритм вычисления индекса Хирша весьма прост: ранжируем все статьи данного автора (организации) в порядке убывания цитируемости и отбираем статьи с начала списка до тех пор, пока не подходим к статье с цитированием, меньшим порядкового номера этой статьи. Число предшествующих статей и есть индекс Хирша.
В работе [26] Хиршем дано статистическое обоснование адекватности предложенного им показателя для h>>1, основанное на анализе цитирований работ нобелевских лауреатов и членов National Academy of Sciences (США) за 20 лет, из которого вытекает высокая корреляция h-индексов с неформальными научными заслугами учёных.
Отметим ряд интересных свойств индекса Хирша.
1. Это не убывающий со временем показатель, поскольку появление новых статей и новых ссылок на эти статьи не может его уменьшить.
2. В отличие от импакт-факторов, индекс Хирша практически не реагирует на аномально высокое цитирование отдельных работ. Упомянутый выше случай появления статьи, собравшей тысячи ссылок, либо не изменит индекс Хирша вовсе, либо увеличит его не более чем на единицу. Кроме того, он нечувствителен и к ссылкам на малоцитируемые статьи.
3. Это очень «вязкий» показатель, значение которого изменить тем труднее, чем оно выше.
4. Он «отсеивает случайных соавторов», поскольку его величина будет значительной лишь у тех авторов, которые имеют достаточно много публикаций, многие из которых часто цитируются.
Общепризнано, что индекс Хирша обеспечивает более адекватную рейтинговую оценку исследователей, имеющих значительный стаж научной деятельности, чем могут дать такие показатели, как число публикаций или число цитирований. Вместе с тем следует отметить, что вследствие инерционности процесса накопления ссылок индекс Хирша, как и другие связанные с цитированием показатели, вряд ли целесообразно использовать для оценки научной деятельности молодых ученых [27].
Применение индекса Хирша для оценки результативности научной
деятельности и построения различного рода рейтингов требует учета следующих важных обстоятельств. Во-первых, этот индекс, как и многие другие наукометрические индикаторы, в отрыве от библиографической базы не имеет смысла. Кроме того, он привязан ко времени подсчёта. Поэтому индекс Хирша, как и группа импакт-факторов, является функцией двух параметров - Т и 5'. Для выполненных Хиршем оценок библиографической базой служил ресурс Института научной информации 151 (ныне Шо5), отражавший публикации с 1955 г.
Во-вторых, индекс Хирша не может быть сопоставимым для разных областей науки. Его целесообразно применять для сравнения достижений исследователей, научных коллективов, организаций, работающих в общей предметной области. В связи с этим вряд ли следует серьезно воспринимать предпринимавшиеся попытки использования индекса Хирша для построения рейтинга ректоров российских вузов, а также для ранжирования крупных многопрофильных научно-образовательных организаций.
С точки зрения практического применения важно отметить, что в области точных и естественных наук использование для расчета индекса Хирша баз данных Шо8 и 5СР (в отличие от РИНЦ) в целом дает сравнимые результаты: И (Т, Жо5) ~ И (Т, 5СР). В области социогуманитарных наук, вследствие слабой представительности российских журналов в международных библиографических базах, для наукометрических оценок целесообразно использовать данные РИНЦ.
Применение многих наукометрических показателей для сравнения результативности научной деятельности отдельных авторов, научных групп и организаций зачастую осложняется проблемой адекватности поисковых запросов, формируемых в библиографической базе разными операторами. Для российских авторов в РИНЦ это можно считать малосущественным. В англоязычных базах соответствующие ограничения для изучения результативности авторов связаны с необходимостью корректного учёта вариантов написания некоторых фамилий и очистки списка от однофамильцев по дополнительным признакам. Однако при изучении научной продуктивности организаций это может быть серьезной проблемой. Так, один из сотрудников Нижегородского университета (ННГУ) сообщил нам, что в его статьях, отображаемых в Шо8, насчитывается 15 англоязычных вариантов наименования ННГУ
Формирование адекватной маски корпорации, не приводящей к потере данных и надёжно отсекающей «шум», является сложной задачей. Например, при анализе результатов недавней попытки построить рейтинг
вузов по данным WoS выяснилось, что применение предложенной разработчиками рейтинга (Сибирский федеральный университет) маски занижает число опубликованных от имени ННГУ и учтённых в WoS статей приблизительно в полтора раза.
В заключение отметим, что, несмотря на отмеченные в этой статье сложности, неоднозначности и оговорки, связанные с применением показателей научного цитирования, следует признать, что в настоящее время, по крайней мере, в ведущих университетах страны, профессор, имеющий в каждой из упомянутых в этой статье рейтинговых баз индекс Хирша, не слишком сильно отличающийся от единицы, так же малопривлекателен для работодателя, как и журнал с импакт-фактором IF2=0,0N для исследователя, готовящего к публикации значимый научный результат.
Источники
1. Прайс Д. Малая наука, большая наука // Наука о науке. М.: Прогресс, 1966.
2. http://vak.ed.gov.ru/ru/help_desk/list/
3. Garfield Е. Citation indexes to science: a new dimension in documentation through association of ideas // Science. 1955. V.122. P.108-111.
4. Garfield Sbtr I.H. New factors in the evaluation of scientific literature through citation indexing // American Documentation. 1963. Vol.14. No.3. P.195-201.
5. Налимов В.В., Мульненко З.М. Наукометрия. Изучение развития науки как информационного процесса. М.: Наука. 1969.
6. Бернал Дж. Наука и общество: Сб. статей и выступлений. М.: Изд-во иностр. лит., 1953. 299 с.
7. Хайтун С.Д. Наукометрия. Состояние и перспективы. М.: Наука, 1985.
8. Баранов А.Н. Семантическая сеть как инструмент библиометрии в гуманитарных науках. URL: http//iph.ras.ru/uplfiie/ideol/bibiiometr/Baranov.html
9. Гарфилд Ю. Можно ли выявлять и оценивать научные достижения и научную продуктивность? // Вестник АН СССР. 1982. №7. С.42-50.
10. Shockley W. On the Statistics of Individual Variations of Productivity in Research Laboratories // Proceedings of the Institute of Radio Engineers. 1957. V.45. №279. P.1409.
11. Пельц Д., Энрюс Ф. Ученые в организациях. Оптимальные условия для исследований и разработок. М.: Прогресс, 1973. 469 с.
12. Алескеров Ф.Т., Писляков В.В., Субочев А.Л., Чистяков A.T. Построение рейтингов журналов по менеджменту с помощью методов теории коллективного выбора: препринт WP7/2011/04/НИУ -«Высшая школа экономики». М.: Изд. дом ВШЭ, 2011. 44 с.
13. Писляков В.В. Методы оценки научного знания по показателям цитирования // Социологический журнал. 2007. №1. С.128-140.
14. Rousseau R. Journal evaluation: Technical and practical issues // Library Trends. 2002. V.50. Iss.3. P.418-439.
15. Glanzel W., Moed H.F. Journal impact measures in bibliometric research // Sciento-metrics. 2002. Vol.53. N.2. P. 171-193.
16. Rousseau R. Median and percentile impact factors: A set of new indicators // Sciento-metrics. 2005. Vol.63. N.3. P.431-441.
17. Eggbe L. Mathematical relations between impact factors and average number of citations // Information Processing and Management. 1988. V.24. P.567-576.
18. Eggbe L., Rousseau R. Citation distribution of pure mathematics journals // Informetrics 87/88 /ed.
Amsterdam: Elsevier, 1988. P.249-262.
19. Garfield E. How ISI Selects Journals for Coverage: Quantitative and Qualitative Considerations // Current Contents. 1990. May 28.
20. Rotb D.L. The emergence of competitors to the Science Citation Index and the Web of Science // Current Science. 2005. V.89. №9, 10. P.1531-1536.
21. Теста Дж. Процесс отбора журналов в Thomson Reuters. URL: thomsonreuters.com/ content/science/pdf/ssr/training/rus-web.pdf
22. Кириллова О.В. Подготовка российских журналов для зарубежной аналитической базы данных Scopus. Рекомендации и комментарии. http://eIsevierscience.ru/info/add-journal-to-scopus/
23. Jacso P. As we may search - Comparison of major features of the Web of Science, Scopus and Google Scholar citation-based and citation-enhanced databases//Current Science. 2005. V.89. №9, 10. P.1537-1547.
24. URL: http://elibrary.ru/projects/science_index/science_index_questions.asp
25. Солошенко H.C., Кириллова О.В. Отражение российских журналов в БД Science Citation Index и SCOPUS // Educational Technology & Society. 2006. Vol.9. №3. P.313-320.
26. Hirsch J.E. An index to quantify an individual's scientific research output // Proceedings of the National Academy of Sciences. 2005. Vol.102. №46. P.16569-16572.
27. Бедный Б.И., Миронос А.А., Серова Т.В. Продуктивность исследовательской работы аспирантов (наукометрические оценки) // Высшее образование в России. 2006. №7. С.20-36.
References
1. Prays D. Malaya nauka, bol'shaya nauka // Nauka o nauke. M.: Progress, 1966.
2. http://vak.ed.gov.ru/ru/help_desk/list/
3. Garfield E. Citation indexes to science: a new dimension in documentation through association of ideas // Science. 1955. V.122. P.108-111.
4. Garfield Sbtr I.H. New factors in the evaluation of scientific literature through citation indexing // American Documentation. 1963. Vol.14. No.3. P.195-201.
5. Nalimov V.V., Mul'nenko Z.M. Naukometriya. Izuchenie razvitiya nauki kak informacionnogo proces-sa. M.: Nauka. 1969.
6. Bernal Dj. Nauka i obsch'estvo: Sb. statey i vy'stupleniy. M.: Izd-vo inostr. lit., 1953. 299 s.
7. Haytun S.D. Naukometriya. Sostoyanie i perspektivy'. M.: Nauka, 1985.
8. Baranov A.N. Semanticheskaya set' kak instrument bibliometrii v gumanitarny'h naukah. URL: http//iph.ras.ru/uplfiie/ideol/bibiiometr/Baranov.html
9. Garfild YU. Mojno li vy'yavlyat' i ocenivat' nauchny'e dostijeniya i nauchnuyu produktivnost'? // Vest-nik AN SSSR. 1982. №7. S.42-50.
10. Shockley W. On the Statistics of Individual Variations of Productivity in Research Laboratories // Proceedings of the Institute of Radio Engineers. 1957. V.45. №279. P.1409.
11. Pel'c D., E'nryus F. Ucheny'e v organizaciyah. Optimal'ny'e usloviya dlya issledovaniy i razrabotok. M.: Progress, 1973. 469 s.
12. Aleskerov F.T., Pislyakov V.V., Subochev A.L., CHistyakov A.T. Postroenie reytingov jurnalov po menedjmentu s pomosch''yu metodov teorii kollektivnogo vy'bora: preprint WP7/2011/04/NIU -«Vy'sshaya shkola e'konomiki». M.: Izd. dom VSHE', 2011. 44 s.
13. Pislyakov V.V. Metody' ocenki nauchnogo znaniya po pokazatelyam citirovaniya // Sociologicheskiy jurnal. 2007. №1. S.128-140.
14. Rousseau R. Journal evaluation: Technical and practical issues // Library Trends. 2002. V.50. Iss.3. P.418-439.
15. Glanzel W., Moed H.F. Journal impact measures in bibliometric research // Sciento-metrics. 2002. Vol.53. N.2. P. 171 -193.
16. Rousseau R. Median and percentile impact factors: A set of new indicators // Sciento-metrics. 2005. Vol.63. N.3. P.431-441.
17. Eggbe L. Mathematical relations between impact factors and average number of citations // Information Processing and Management. 1988. V.24. P.567-576.
18. Eggbe L., Rousseau R. Citation distribution of pure mathematics journals // Informetrics 87/88 /ed. Amsterdam: Elsevier, 1988. P.249-262.
19. Garfield E. How ISI Selects Journals for Coverage: Quantitative and Qualitative Considerations // Current Contents. 1990. May 28.
20. Rotb D.L. The emergence of competitors to the Science Citation Index and the Web of Science // Current Science. 2005. V.89. №9, 10. P.1531-1536.
21. Testa Dj. Process otbora jurnalov v Thomson Reuters. URL: thomsonreuters.com/content/science/ pdf/ssr/training/rus-web.pdf
22. Kirillova O.V. Podgotovka rossiyskih jurnalov dlya zarubejnoy analiticheskoy bazy' danny'h Scopus. Rekomendacii i kommentarii. http://eIsevierscience.ru/info/add-journal-to-scopus/
23. Jacso P. As we may search - Comparison of major features of the Web of Science, Scopus and Google Scholar citation-based and citation-enhanced databases//Current Science. 2005. V.89. №9, 10. P.1537-1547.
24. URL: http ://elibrary .ru/projects/science_index/science_index_questions.asp
25. Soloshenko H.C., Kirillova O.V. Otrajenie rossiyskih jurnalov v BD Science Citation Index i SCOPUS // Educational Technology & Society. 2006. Vol.9. №3. P.313-320.
26. Hirsch J.E. An index to quantify an individual's scientific research output // Proceedings of the National Academy of Sciences. 2005. Vol.102. №46. P.16569-16572.
27. Bedny'y B.I., Mironos A.A., Serova T.V. Produktivnost' issledovatel'skoy raboty' aspirantov (nauko-metricheskie ocenki) // Vy'sshee obrazovanie v Rossii. 2006. №7. S.20-36.
Зарегистрирована 27.08.2012.
