CC BY
100
НАУЧНАЯ ЖИЗНЬ
УДК 009:025.4 - гуманитарные науки в информационно-поисковых языках
БИБЛИОМЕТРИЯ В ОЦЕНКЕ РЕЗУЛЬТАТОВ ЭФФЕКТИВНОСТИ НАУЧНЫХ ИССЛЕДОВАНИЙ И ВЛИЯТЕЛЬНОСТИ ЖУРНАЛОВ: ЦЕЛЕСООБРАЗНОСТЬ
И ПЕРСПЕКТИВЫ
© 2014 О.А.Максимчик, Е.Ю.Макеева
Поволжская государственная социально-гуманитарная академия
Статья поступила в редакцию 29.09.2014
В статье подвергаются критическому рассмотрению индекс цитирования, импакт-фактор и индекс Хирша -численные библиометрические показатели оценки результатов научных исследований и академических периодических изданий, а также затронуты перспективы их использования в России как инструмента оценивания эффективности научно-исследовательской работы.
Ключевые слова: библиометрические показатели, цитирование, индекс цитирования, импакт-фактор, индекс Хирша, международные системы научных публикаций, Scopus, Web of Science.
В последнее время в науке сложилась такая тенденция, что статистика в виде всевозможных индексов цитирования и факторов влиятельности превратилась в основной, если не единственный, количественный показатель репутации научных журналов, престижности академических публикаций и авторитетности пишущих их авторов. В связи с широким распространением использования библиометрических методов измерения, возрастает объем опубликованной литературы об использовании цитирования для оценки научных исследований и, естественно, доля критики в их адрес1. Так, интерес представляет сборник статей о библиометрике «Игра в цыфирь, или как теперь оценивают труд уче-
Максимчик Оксана Александровна, кандидат филологических наук, доцент кафедры английской филологии и межкультурной коммуникации. E-mail: maxana75@mail. ru
Макеева Елена Юрьевна, кандидат филологических наук, доцент кафедры английской филологии и межкультурной коммуникации. E-mail: helen mckey@mail.ru
1 Индекс цитирования - инструмент, а не цель! [Электронный ресурс] - Режим доступа: http: / /www.ras. ru/news / shownews.aspx?id=e0587895-686c-42af-9e4e-334071d0be06 (21.09.2014); Мотрошилова Н.В. Недоброкачественные сегменты наукометрии // Вестник Российской академии наук. - 2011. - Том 81. - № 2. -
М.: 2011. - С.134 - 146; Соколов М. Чтобы индексы цитирования сработали [Электронный ресурс] - Режим доступа: http:/ / polit.ru/article/2009/12/10/ index1 / (21.09.2014).
ного»2, где уважаемые математики, статистики и биологи предупреждают о возможных неверных выводах о научной влиятельности журналов, и о степени индивидуального влияния отдельно взятого ученого, основанных на базе импакт-фактора, предложенного Institute for Scientific Information (ISI) американской частной корпорации Thomson Reuters Corporation, которая с 1975 года занимается подсчетом зарубежных публикаций и цитирований по данным принадлежащей ей базе Web of Science (WoS).
Мы разделяем озабоченность тех коллег, которые подчеркивают необходимость изучения как положительных, так и отрицательных сторон статистик, основанных на цитировании. В частности, важным вопросом является следующий - действительно ли количество ссылок на отдельную работу является значимым и объективным показателем ценности ученого и адекватной мерой степени качества исследований в различных научных областях? Не приведет ли возрастающее использование статистических данных цитирований при оценке научных исследований (вместо якобы субъективной экспертной оценки) к злоупотреблениям, связанным с публикационной активностью ученых, условиями принятия на работу, повышения в должности, мониторингом деятельности и эффективности вузов, определения рейтинга, распределения грантов или участия в конкурсе и т.п.? Не умаляя очевидных преимуществ того
2 Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). - М.: МЦНМО, 2011. - 72 с.
влияния, которое оказывают такие показатели, как индекс цитирования и импакт-фактор, остановимся на возможной опасности, которые они могут повлечь.
Так, в Приказе № 406 Министерства образования и науки Российской Федерации «Типовая методика оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» от 14.10.2009 представлены новые критерии оценки результативности деятельности научных организаций по направлению «научный потенциал и эффективность научных исследований»3. Среди этих критериев - число публикаций работников научной организации в РИНЦ, цитируемость публикаций работников научной организации в РИНЦ, число публикаций работников научной организации в Web of Science, импакт-фактор публикаций работников научной организации в Web of Science и т.д. В этом приказе также рекомендовано учитывать индекс цитируемости при определении рейтинга высших учебных заведений. Во исполнение данного приказа подведомственные Министерству образования ВУЗы ввели (или планируют ввести в ближайшее время) балльно-рейтин-говую систему стимулирования деятельности научно-педагогических работников, основанную на учете персонального индекса цитирования в системах РИНЦ, Web of Science, Scopus и т.д. Эти показатели ВУЗы также планируют учитывать при выборе по конкурсу или определении срока действия трудового договора4.
Неудивительно, что, оказавшись в ситуации строгой отчетности, научные сообщества учебных заведений озаботились проблемами не столько подготовки качественных статей, требующих значительного времени на проведение исследования и анализа материала, а вопросами, как за короткий период опубликовать как можно больше статей (то есть сконцентрировались на самом факте публикации, а не на содержании статьи - это тот случай, когда от количества может пострадать качество); в каких журналах это лучше сделать (не сильно пострадав при этом финансово); и за счет чего можно повысить показатель цитирований своих работ (если даже повсеместно принятое упоминание учеником трудов своего научного руководителя, основавшего свою научную школу, якобы исключаются из подсчетов, тем более, если
3 Приказ № 406 Минобрнауки от 14.10.2009 [Электронный ресурс] - Режим доступа: http: / /www.edu .ru/db-mon/mo/Data/d 09/m406.html (20.09.2014).
4 Лепеш Г.В. По вопросу публикационной активности российских ученых // Технико-технологические проблемы сервиса. - 2012. - № 2. - Том 20. - С. 3 - 6.
цитирующего и цитируемого автора не отделяет расстояние хотя бы в тысячу километров). Поставленные в условия, когда статистика играет определяющую роль в оценке их научного потенциала, авторы бросились искать способы манипулирования системой в своих интересах, в части поиска способов искусственного наращивания индекса цитируемости, и их попытки не остаются безрезультатными (в частности, своего рода «научно-дипломатической нормой» может стать «цитатный обмен» - ссылка на работу коллеги, преимущественно из другого вуза/города, в надежде на благодарность в виде ответной ссылки в ее/его следующей статье, а также «почетное» соавторство и журнальное «автоцитирование»). Поэтому считаем необходимым рассмотреть вопрос ограниченности использования только данных цитирований (дающих поверхностное понимание ценности научного исследования), а также неверной интерпретации и некорректного использования статистик цитирований для ранжирования журналов, статей, исследователей и тем более целых научных дисциплин.
Так, на наш взгляд, невозможно объективно судить об академической ценности журнала, используя только данные о количестве цитирований. Любое сравнение журналов, основанное только на импакт-факторе, требует большой осторожности, так как это среднее (выводимое из числа цитирований некой совокупности статей за определенный период времени) сродни всем известной шутке о средней температуре по больнице. Не выдерживает критики и двухлетний период, используемый при определении импакт-фактора. Так, если для биомедицинских статей это целесообразно, т.к. на опубликованную статью обычно следует быстрая реакция, то, например, в гуманитарных дисциплинах все не так однозначно, и реакция научного сообщества может выходить за рамки двухлетнего периода, что делает принятые условия особенно невыгодными для молодых гуманитариев. По причине того, что учитываются только статьи, входящие в достаточно широкий (но ограниченный) список англоязычных журналов, индексируемых системой Web of Science, не получат должного освещения и статьи, публикуемые не на английском, а на национальном языке, и, как следствие, импакт-фактор российского журнала может быть значительно ниже, чем импакт-фактор зарубежного журнала по аналогичной дисциплине (но отнюдь не свидетельствует о меньшей научной ценности статей и важности сделанных открытий). Так, представительство русскоязычных изданий в Web of Science столь незначительно, что сравнение цитирований публикаций на английском и рус-
Научная жизнь
ском языке заведомо несправедливо по отношению к последнему5. С другой стороны, в изданиях по гуманитарным дисциплинам публикуется большое количество обзорных статей (в противовес оригинальным исследовательским статьям), получающих гораздо больше ссылок, следовательно, и импакт-факторы журналов по гуманитарным дисциплинам могут иметь существенно более высокие импакт-факторы, чем, скажем, журналы по математическим дисциплинам. В невыгодном положении окажутся и исследователи, работающие в уникальных областях, представляющих интерес для ограниченного круга специалистов, что, возможно, повлечет за собой желание молодых ученых работать в «модном», «раскрученном» направлении, где имеется склонность к большему цитированию. И, наконец, последнее, в формуле импакт-фактора, где число учитываемых цитирований делится на число всех статей, опубликованных за 2 года, достоинство в виде количества опубликованных в журнале статей превращается в недостаток и приводит к парадоксу: чем больше число статей, тем ниже импакт-фактор.
Тем не менее, несмотря на очевидные недостатки, при оценке статей такой более достоверный показатель, как фактическое количество ссылок на нее, зачастую подменяется импакт-фактором журнала, где она была опубликована. Происходит своего рода перенос свойства журнала на опубликованную в нем статью (и на научный потенциал автора статьи). Отсюда при оценке научных достижений и масштаба влияния вклада исследователя в науку может возникнуть заблуждение вроде «Статья Иванова опубликована в очень престижном журнале X, значит, статья хорошая, а сам Иванов - ученый высокого уровня; а статья Петрова - в малоизвестном/не зарекомендовавшим себя/«каком-то» журнале Y, ну что тут говорить». Но более высокий импакт-фактор журнала отнюдь не гарантирует более высокий уровень цитирования и, тем более, не свидетельствует о более весомом научном вкладе отдельной статьи или исследователя.
Все более популярным при оценке деятельности ученого становится индекс Хирша (h-индекс), представляющий собой наибольшее число статей, каждая из которых цитировалась не менее того же числа раз, т.е. пытающийся свести и производительность, и влиятельность автора к одной цифре; однако и он, по целому
5 См., например, Полетаев А.В., Савельева И.М. Зарубежные публикации российских гуманитариев:
социометрический анализ // Вопросы образования. -2009. - № 4. - С. 199 - 218.
ряду причин не справляется с задачей полномасштабного анализа списка цитирований отдельного исследователя. В частности, в его подсчетах полностью теряются данные о высокоци-тируемых работах, которые, как правило, являются предметом особой гордости авторов6. Так же, в силу ограниченности охвата объема информации, принципиальных ошибок в алгоритмах составления индексов цитирования, разночтений в написании имен и фамилий, неоперативности системы и ряда других недостатков исследователи представлены в электронных базах данных далеко не в той мере, не в том масштабе, в котором реально работают. Приведем пример: некий авторитетный в своей области и уважаемый доктор наук, профессор S, опубликовавший 8 монографий и не одну сотню статей, под руководством которого защищено 4 докторские и 32 кандидатские диссертации, имеет индекс Хирша равный единице. В тоже время его недавно защитившаяся коллега N, имея 10 публикаций, может похвастаться индексом Хирша 4. Не умаляя достижений N, возьмем на себя смелость сказать, что дело здесь отнюдь не в эффективности или неэффективности проведенных исследований, причина состоит в том, что предоставление более ранних работ, поиск и прикрепление ссылок перекладывается на плечи самих авторов, не учитывается так называемое «внутреннее цитирование», т.е. в пределах одной организации, и многое другое. А ведь что может быть естественнее, чем ссылки учеников на работы своего научного руководителя?
Другой особенностью цитирований в журналах гуманитарной направленности, на наш взгляд, является соблюдение определенных принципов ведения научной дискуссии. Так, нормой является цитирование широко признанных работ и являющихся авторитетами в данной области авторов, с одной стороны, и обзор последних исследований в данной области, с другой. При этом, если ссылки первого вида являются чаще всего ссылками на фундаментальные монографии, то ссылки второго вида чаще всего представляют собой ссылки на диссертационные исследования; в любом случае, цитированию чаще подвергаются не научные статьи, а книги, в первом случае, и рукописи (или авторефераты), во втором, которые не являются периодическими изданиями, а значит, не учитываются Web of Science при подсчете
6 Об этом и др. недостатках индекса Хирша см., например, Полянин А.Д. Недостатки индексов цитируемое™ и Хирша. Индексы максимальной цитируемости [Электронный ресурс] - Режим доступа: http:/ / eqworld.ipmnet.ru/ru /info /sci-edu /Polyanin IndexH 2014.html (21.09.2014).
индексов цитируемости и Хирша. Исключение фундаментальных трудов, содержащих основные результаты исследования, при стандартной схеме подсчета индексов цитируемости выглядит, по меньшей мере, странно, особенно в сравнении с упоминавшимися нами обзорными статьями (не содержащими новых результатов, но получающими, по статистике, максимальное количество ссылок.) Да и обращение к определенной работе может быть обусловлено не ее «качеством», а ее наличием в открытом доступе и даже желанием автора покритиковать ошибочные, на его взгляд, результаты и выводы. Так что связь между количеством цитирований статьи и ее высоким качеством не является безусловной.
Следовательно, возникает вопрос обоснованности широкого использования таких статистических показателей, как импакт-фактор и h-индекс, а также необходимость всестороннего изучения ценности содержащейся в них информации и разъяснения принципов (и рациональности) их использования, а не только опора на их «доступность» и «простоту», которые, как правило, выдвигаются в качестве обоснований обращения к ним. Таким образом, критический взгляд на библиометрические методы определения результативности научной деятельности отдельного ученого и влиятельности научного журнала ставит вопрос о стандартах оценки качества научных исследований, правомерности применения статистических величин для оценки качества, целесообразности подмены оценки качества количественной оценкой. Поскольку использование таких показателей, как импакт-фактор и индекс цитируемости, может привести
к целому ряду неверных выводов о научной репутации журнала, ценности публикуемых статей и статусе их авторов, своего рода зависимости от цитирования, даже некой одержимости им, мы выступаем за использование количественных подсчетов параллельно с компетентной качественной (экспертной) оценкой, и только при их корректной интерпретации и разумном использовании, при учете ряда дополнений и поправок. Но в современных реалиях каждому исследователю просто жизненно необходимо хотя бы в общих чертах представлять, что такое и как работают библиометрические показатели.
Обращение к индексам цитирования как механизму оценивания научного статуса, с одной стороны, и перечисленные недостатки англоязычной системы Web of Science, с другой, автоматически поставило академическую систему перед необходимостью разрабатывать собственный российский аналог ведущих мировых индексов, что и привело к созданию в 2005 году Российского индекса научного цитирования (РИНЦ), основным сайтом которого является eLibrary.ru (Научная электронная библиотека), рассмотренные в Известиях Самарского научного центра Российской академии наук ранее7.
7 Привалова В.М., Малышев В.Б. Известия Самарского научного центра РАН через призму Science Index // Известия Самарского научного центра РАН. -2014. - Т. 16. - № 2. - С. 23 - 25; Макеева ЕЮ, Максимчик О.А. Оценка влиятельности научных журналов в международных системах научных публикаций // Известия Самарского научного центра РАН. -2014. - Т. 16. - № 2 (3). - С. 530 - 533.
BIBLIOMETRICS IN MEASURING INFLUENCE AND IMPACT OF SCHOLARLY PUBLICATIONS: CRITICAL ANALYSIS AND PERSPECTIVES
© 2014 O.A.Maximtchik, E.Yu.Makeeva" Samara State Academy of Social Sciences and Humanities
The article makes a critical survey of Science Citation Index, Impact Factor, h-index - now popular bibliometric methods used to quantitatively analyze academic literature. It also briefly exposes their role and perspectives in accessing the effectiveness of researchers, or the impact of a particular paper in Russia.
Keywords: bibliometrics, citation, Science Citation Index, impact factor, h-index, scientific citation indexing services, Scopus, Web of Science.
Oxana Alexandrovna Maximtchik, Candidate of philology, Associate professor of Department of English philology and cross-cultural communication. E-mail: maxana75@mail.ru Elena Yurjevna Makeeva, Candidate of philology, Associate professor of Department of English philology and cross-cultural communication. E-mail: helen mcley@mail.ru
