CC BY
13
2015.02.016. АДЛЕР Р., ЭВИНГ Дж., ТЭЙЛОР П. СТАТИСТИКИ ЦИТИРОВАНИЯ // Социология. - Минск, 2014. - № 2. - С. 91-104.
Ключевые слова: научные исследования; библиометрические показатели и их критика; импакт-фактор; ранжирование работ; ранжирование ученых.
Авторы, ученые-математики из разных стран (Израиль, США и Австралия), анализируют, как используются данные цитирования и какие злоупотребления допускаются при оценке научных исследований.
Правительства и учреждения по всему миру осуществляют значительную финансовую поддержку научных исследований. Естественно, они хотят знать, разумно ли инвестируются их деньги. Это явление далеко не ново: люди оценивали научные исследования и ранее. Ново убеждение, что хорошая оценка должна быть «простой» и «объективной» и что это может быть достигнуто прежде всего на основе подсчетов (статистики) по данным цитирований, а не с помощью сочетания разных методов, включая экспертные оценки самих ученых.
Те, кто ратует за объективность в такой форме, считают, что научные исследования слишком важны, чтобы полагаться на субъективные суждения. Но самое главное: они полагают, что такие метрики позволяют сравнить все составляющие научных исследований - журналы, статьи, людей, программы и даже целые дисциплины - просто, эффективно и объективно.
Существует убеждение, что статистики цитирований более точны, поскольку оперируют числами, а не сложными суждениями и, следовательно, позволяют обходить субъективность экспертной оценки. Но это убеждение необоснованно. Во-первых, точность этих показателей иллюзорна. Общеизвестно, что статистика может лгать. Злоупотребления в этой сфере распространены и вопиющи. Во-вторых, использование метода, основанного исключительно на цитированиях, попросту заменяет один вид оценок другим. Вместо экспертной оценки мы получаем субъективную интерпретацию статистических данных. В-третьих, хотя статистика дает ценную информацию для понимания мира, в котором мы живем, она обеспечивает только его частичное понимание. «Мы должны не только
использовать статистику правильно - мы должны использовать ее разумно» (с. 92).
Авторы статьи спорят не с попыткой оценивать исследования, а скорее с требованием, что такие оценки должны опираться на цитирование - «простой и объективный» показатель. Математики знают, что многие предметы или явления просто нельзя упорядочить или сравнить. Публикации могут быть оценены множеством способов не только при помощи индекса цитирования. И все же сегодня «объективные статистические данные», основанные на частоте цитирования, стали приоритетным методом оценки. «"Все должно быть сделано как можно более просто, но не чересчур просто", - сказал однажды Эйнштейн. Этот совет одного из выдающихся ученых мира особенно уместен при оценке научных исследований» (с. 93).
Импакт-фактор создан в 1960-х годах как способ измерить ценность журналов путем вычисления среднего числа цитирований на статью за определенный промежуток времени. Среднее число вычисляется на основе данных, собранных «Thomson Scientific» (бывший Институт научной информации). Он использует импакт-фактор и при отборе журналов для включения в перечень индексируемых. Этот фактор нужен для того, чтобы сравнивать не только статьи, но и журналы.
Многие авторы отмечали, что нельзя судить об академической ценности журнала, используя только данные о ссылках, и авторы статьи согласны с этим мнением. В дополнение к этому общему наблюдению импакт-фактор подвергся критике и по другим причинам.
Во-первых, определение импакт-фактора как среднего математического числа не совсем правильно. Поскольку многие журналы содержат редко цитируемые вспомогательные публикации, такие как письма или редакционные статьи, эти публикации не учитываются в знаменателе импакт-фактора.
Во-вторых, двухлетний период при определении импакт-фактора предназначался для того, чтобы сделать статистический показатель современным. Для некоторых областей, таких как биомедицинские науки, это целесообразно, тогда как в других областях, таких как математика, большинство ссылок выходит за рамки двухлетнего периода. Анализ более 3 млн недавних ссылок в мате-
матических журналах показывает, что примерно 90% ссылок на журнал выходит за пределы двухлетнего окна (с. 94). Очевидно, что изменение количества «заданных годов» при расчете импакт-фактора приводит к изменению рейтинга журналов, хотя они, как правило, и умеренны.
В-третьих, импакт-фактор значительно варьируется в зависимости от выбора дисциплины. Эти различия отчасти связаны со вторым наблюдением: если в некоторых дисциплинах много ссылок за пределами двухлетнего окна, то импакт-факторы для журналов ниже. Кроме того, иногда они возникают из-за того, что традиции цитирования отличаются от дисциплины к дисциплине. Из этого следует, что, используя импакт-факторы, невозможно никаким разумным способом сравнить два журнала, представляющих разные дисциплины.
В-четвертых, на импакт-фактор может влиять тип журнала, язык публикаций, тираж, а не одно только качество статьи. Журналы, которые публикуют, например, обзорные статьи, часто получают больше ссылок, и, следовательно, у них более высокие им-пакт-факторы.
Наконец, в-пятых, наиболее существенная критика импакт-фактора в том, что не вполне ясен его смысл. При использовании импакт-фактора для сравнения двух журналов нет никакой модели для образца, в которой было бы исходно определено, что такое «лучший журнал»; журнал с большим импакт-фактором и считается «лучшим».
Все приведенные выше критические замечания об импакт-факторе доказывают, что импакт-фактор недостаточно продуман. Цитируемость - лишь один способ оценки журналов, она должна быть дополнена другой информацией. Это и есть, по словам авторов, основная идея их статьи (с. 96). «Использование лишь только импакт-фактора при оценке журнала - все равно, что при оценке здоровья человека учитывать только его вес» (с. 91).
Однако существует более глубокое и коварное заблуждение -использование импакт-фактора для сравнения отдельных работ, людей, исследовательских программ или даже целых областей знания. Качество журналов, в которых ученый обычно публикуется, служит лишь одним из многочисленных показателей, которые мо-
гут быть использованы для общей оценки исследований данного ученого.
Тем не менее импакт-фактор усилил тенденцию приписывать свойства журнала каждой публикации в нем, а соответственно и ее автору. В статье приводятся ситуации, когда импакт-фактор явным или неявным образом используется для сравнения отдельных статей, а также их авторов. Однако «давно известно, что распределение числа цитирований по статьям в одном журнале крайне неравномерно и близко к так называемому степенному закону» (с. 97).
Отталкиваясь от этого факта, авторы на примере публикаций в двух математических журналах, имеющих разные импакт-факторы, доказывают, что качество статьи напрямую от импакт-фактора не зависит. Хотя и неверно утверждать, что импакт-фактор совсем ничего не говорит об отдельных статьях в журнале, тем нее менее он дает весьма расплывчатую информацию и может ввести в заблуждение. «Коль скоро мы осознаем бессмысленность импакт-фактора для оценки количества цитирований отдельной статьи, не имеет смысла применять его и для оценки авторов статей, исследовательских программ, которыми они занимаются, и, тем более, областей знаний, в которых они работают. Импакт-фактор, как и вообще средние показатели, не слишком пригодная величина для содержательного сравнения» (с. 98).
Хотя импакт-фактор - наиболее известный метод статистики, основанный на цитировании, недавно появились и другие показатели, которые сейчас активно популяризируются. Самый распространенный из них h-индекс. Его ввел Дж.Е. Хирш в попытке оценить количественно научную продукцию ученого, приняв за основу «хвост» кривой цитируемости его статей.
В своей работе Хирш предлагает h-индекс как легковычис-ляемую величину, которая дает оценку важности, значимости и масштаба влияния совокупного вклада ученого в науку. Далее он добавляет, что «этот показатель может служить полезным средством для сравнения различных конкурирующих лиц, когда критерием оценки являются научные достижения» (цит. по: с. 98). Ни одно из этих утверждений, как показывают авторы, не подтверждается убедительными доказательствами (с. 98-99).
Были разработаны разные варианты h-индекса, приспособленные для сопоставления качества исследователей не только в
рамках одной дисциплины, но и для сравнения качества исследований в различных областях. Некоторые полагают, что этот индекс может быть использован для сравнения различных институтов и их подразделений. В основе всего этого - наивные попытки описать весь сложный процесс цитирования с помощью одного показателя. Те, кто продвигает метод статистики цитирований в качестве основной меры качества исследований, не дают ответа на главный вопрос, что означает цитирование.
Идея, стоящая за индексацией цитирований, принципиально проста. Если признать, что ценность информации определяется теми, кто ее использует, то что может быть лучше для оценки качества работы, чем измерение ее влияния на сообщество? Предполагается, что частота цитирования отражает качество журнала и пользу, которую из него извлекают, т.е. цитаты - признание «интеллектуального долга».
Однако обширная литература на эту тему демонстрирует, что процесс цитирования более сложен, чем можно предположить. Так, было показано, что цитирование - результат одной из двух линий поведения при оформлении научных публикаций - «признательной» и «риторической». Цитирования первого типа несут в себе признание того, что цитирующая работа имеет «интеллектуальный долг» по отношению к цитируемой. Цитирование второго типа -просто ссылка на предшествующую работу, объясняющую какой-то результат, быть может, даже вовсе не принадлежащий цитируемому автору. Такое «риторическое» цитирование - средство ведения научного обсуждения, а не признание «интеллектуального долга».
По некоторым подсчетам, большинство цитирований имеют «риторический» характер. Даже когда цитирование носит «признательный» характер, оно может быть обусловлено различными мотивами, в том числе и вполне конкурентными. Социология цитирования - сложный предмет, который выходит за рамки данной темы. «Однако даже беглое обсуждение показывает, что цитирование имеет статистические погрешности и не так "объективно", как утверждают его сторонники» (с. 100).
Авторы не отбрасывают статистики цитирований как инструмент оценки качества научных исследований. Понятно, что оценки должны быть практичными, и по этой причине легко получаемая статистика цитирований почти наверняка станет частью всего про-
цесса. Вместе с тем данные цитирований дают неполное представление о качестве научных исследований. «Научные исследования слишком важны, чтобы измерять их одним грубым инструментом... Если мы устанавливаем высокие стандарты проведения научных исследований, то, безусловно, должны установить столь же высокие стандарты для оценки их качества» (с. 92).
Т.В. Виноградова
