CC BY
24
Рецензия на книгу «НАУКОМЕТРИЯ ПОД МИКРОСКОПОМ: ОТ АНАЛИЗА ЦИТИРУЕМОСТИ ДО АУДИТА НАУЧНОЙ ДЕЯТЕЛЬНОСТИ»*
Проблема использования наукометрических показателей для оценки результатов деятельности научных работников и организаций является одной из самых популярных тем, обсуждаемых в научном сообществе . Никогда еще интерес к количественному анализу публикационной активности и цитируемости не был столь высок . Эти показатели используются, чтобы выявить наиболее значимые и перспективные области науки, проследить историю развития того или иного направления По причине отсутствия большого выбора количественных индикаторов, характеризующих результаты научной деятельности, показатели публикационной активности и цитируемости внедряются в практику мониторинга научных организаций и вузов . Рассчитанные на их базе показатели эффективности используют при принятии решений о распределении финансовых средств между коллективами и учреждениями, о реорганизации неэффективных организаций . Чем меньше доступность бюджетных средств и чем выше доступность информации для оценивания, тем популярнее становится этот подход Постепенно библиометрия превращается в типовой инструмент количественного анализа науки
Многие российские эксперты призывают ограничить эту практику, высказывая критические аргументы в отношении применения библио-метрических индикаторов к оценке научного труда . «Наука превратилась в гонку за числом публикаций и ростом библиометрических индексов»1. Авторы, разделяющие этот тезис, подчеркивают основные негативные следствия: необходимость «штамповать» статьи отвлекает наиболее талантливых ученых от глубоких исследований, менее талантливых - вынуждает применять разнообразные способы «накрутки» . В результате объем публикаций растет такими высокими темпами, что ни тем, ни другим не хватает времени, чтобы читать материалы коллег по своей специальности
На примере И . В . Курчатова и С . П . Королева, которые по «понятным причинам не публиковались ни в отечественных, ни тем более в международных научных журналах», А . В . Юревич и И . П . Цапенко показывают, что «нельзя сводить вклад в мировую науку к вкладу в мировой массив научных публикаций» И это лишь один из «многочисленных не-
* Scholarly Metrics under the Microscope: From Citation Analysis to Academic Auditing. Edited by Blaise Cronin and Cassidy R. Sugimoto . Medford: Information Today, 2015. 963 p .
1 Чеботарев П. Ю. Наукометрия: как с ее помощью лечить, а не калечить? // Управление большими системами. Спец . вып . 44: Наукометрия и экспертиза в управлении наукой. 2013. С . 14 .
достатков методов количественной оценки эффективности национальной науки»2, выявленных авторами .
Тем не менее российские ученые нередко слышат обвинения в лукавстве . Может быть, длинный перечень критических аргументов призван скрыть невостребованность научных результатов, недостаточное знание иностранных языков и нежелание соблюдать строгие требования к публикациям?
Частично ответ на этот и множество других вопросов современной библиометрии дает книга, предлагаемая вашему вниманию . По форме это сборник статей, по сути - учебник, который редакторы скомпоновали из наиболее значимых публикаций по заявленной теме за период с 1955 по 2014 г
Это 1000-страничное издание объединило под одной обложкой 55 публикаций, объединенных в 6 разделов . Редакторы - Б . Кронин и К . Сугимото - снабдили вступительной статьей каждый раздел, а всю книгу - прологом и эпилогом Блейз Кронин - почетный профессор университета Индианы, главный редактор журнала, выпускаемого Американским обществом информационной науки и технологии, автор более 300 публикаций, известнейший специалист в сфере библиометрии и ки-берметрии Кассиди Сугимото работает доцентом в том же университете - в школе информатики и компьютерной обработки данных . Ее перу принадлежит 50 публикаций в области наукометрии .
Редакторы заявляют следующую цель своего труда: ознакомить читателя с существующими ограничениями на использование библиоме-трических методов и призвать всех заинтересованных лиц с большим уважением и тщательностью относиться к методологическим основам их применения . И в этом цель редакторов совпадает с целью авторов публикации «Стимулирование и результативность: управление научными организациями», рассмотренной в данном номере журнала
Книга состоит из 6 разделов:
1 Концепции и теории
2 . Вопросы применимости .
3 Источники данных
4 Показатели
5 . Научная политика .
6 Системный эффект
За рамки разделов вынесена публикация Юджина Гарфилда, создателя Института научной информации (в настоящее время - подразделение Thomson Reuters) . В 1955 г. эта работа открыла новые горизонты науковедения Автор предложил использовать индексы цитирования для облегчения поиска информации по определенной тематике и для выбора наиболее значимых публикаций, оказавших влияние в конкретной области знания Через 10 лет он реализовал эту идею, опубликовав
2 Юревич А. В., Цапенко И. П. Эффективность отечественной социогуманитар-ной науки: наукометрический подход // Управление большими системами. Спец. вып . 44: Наукометрия и экспертиза в управлении наукой, 2013. С . 411.
бумажную версию Индекса научного цитирования в пяти томах, охватывающих 1,4 млн ссылок . И только спустя 40 лет после публикации развитие информационных технологий обеспечило полную реализацию идей Ю . Гарфилда . Знаменитая статья, опередившая свое время, завершается тезисом: индекс цитирования «может быть полезен во многих случаях, но не стоит ожидать, что он решит все проблемы» (с . 22) .
В последующих разделах книги с разных точек зрения показан исторический путь превращения метода Гарфилда в глобальную систему оценки научной производительности . Десятилетиями эксперты совершенствовали способы измерения краткосрочных результатов научной деятельности в виде числа публикаций и долгосрочных - в виде основы для производства нового знания В данном издании под одной обложкой собраны теории, критика, принципы и методы библиометрического анализа
Первая глава, посвященная библиометрическим концепциям и теориям, предваряется редакторской статьей «Увлечение или поклонение?» (авторы используют даже более жесткий термин для обозначения культа поклонения - «фетишизм») В этом разделе собраны публикации разных лет, от теории цитирования до современной наукометрии на основе анализа социальных сетей, так называемой Наукометрии 2 . 0 .
Вторая глава объединила в себе статьи, описывающие слабые места этих методов: цитирование без изучения первоисточника, принудительное цитирование, особенности базы данных Web of Science, проблемы учета цитируемости в анализе публикационной активности
В третьей главе рассмотрены недостатки источников информации для анализа . Редакторы подчеркивают, что на неполноценных данных нельзя строить полноценные научные выводы В статьях раздела обсуждаются такие проблемы, как непрозрачность данных, претенциозный отбор журналов, представляющих узкий круг стран, языковые трудности Четвертая глава посвящена обсуждению конкретных индикаторов: индекса Хирша, импакт-фактора журнала, рейтингов качества университетов
Пятая глава посвящена проблеме использования наукометрических показателей при выработке научной политики . В статьях показаны различия между результатами исследований в государственном и частном секторах, в различных областях науки . Авторы предостерегают против использования элементарных моделей принятия решений на основе анализа цитирований научных работ
Шестая глава повествует о системных последствиях применения би-блиометрических методов в целях оценки исследований
Все представленные материалы служат задаче, сформулированной редакторами в начале труда: создать единый ресурс, в котором нашли бы отражение теоретические, концептуальные, методологические и этические проблемы, связанные с быстро растущей совокупностью показателей (ныне используемых, разрабатываемых или рассматриваемых в перспективе)
У русскоязычного читателя найдет особый отклик очерк У Гиббса «Потерянная наука третьего мира», поскольку проблемы, с которыми
сталкиваются авторы из Африки, Азии, Латинской Америки, знакомы и ему Публикация начинается с истории мексиканского медицинского журнала, который выполнил все условия для включения в базу WoS и индексировался в ней на протяжении 11 лет. Однако стоило журналу задержать на полгода очередной выпуск, в связи с разразившимся в стране экономическим кризисом, как он был исключен из базы На момент написания статьи никакие усилия не помогли редколлегии вернуть утраченные позиции, хотя для этой цели они полностью отказались от испаноязычных статей в пользу англоязычных, наняли носителя языка для редактирования текстов, создали международный экспертный совет с участием 15 рецензентов из Америки и Европы и включили в состав редколлегии 13 наиболее цитируемых мексиканских специалистов в области биомедицины При этом вновь созданные американские журналы попадали в индекс с выпуска первого номера Предвзятое отношение испытывают на себе и отдельные исследователи Работая в университете Бонна, мексиканский ученый опубликовал две статьи в «Nature», но, вернувшись в Мексику, стал получать отказы от менее престижных изданий
А . Молини и Дж . Боденхаус представлены в сборнике публикацией «Библиометрия как оружие массового цитирования» Авторы призывают ученых всех стран и научных направлений объединиться против тирании библиометрии и вернуться к ценностям «реальной науки» На примерах из опыта изучения магнитного резонанса они демонстрируют, что большое число цитирований не связано с инновационностью или значимостью публикации . Столь же критично отзываются авторы о h-индексе, который «распространяется по миру быстрее вируса гриппа A (N1H1)» . По мнению швейцарского физика Фредрика Меркта, судить о способностях ученого по индексу Хирша сродни выбору вина по цене бутылки, сыра - по размеру дырок, а шоколада - по содержанию сахара С помощью конкретных количественных примеров авторы показывают, что погоня за высоким «Хиршем» вынуждает исследователей писать больше статей по модным проблемам, отнимая у самих себя время, необходимое для более эффективных исследований . «Безумие» импакт-фактора журналов заключается в том, что если вы публикуете интересное исследование, ваши коллеги должны обнаружить публикацию, найти интересное применение вашим идеям, провести эксперименты, написать статью, обсудить ее с рецензентами и опубликовать в течение 12-24 месяцев . В противном случае статья не повлияет на импакт-фактор журнала В результате редакторы оказывают большее влияние на выбор перспективных направлений, чем финансирующие науку организации
Роджер Брумбэк, редактор журнала по детской неврологии, автор ряда статей по «публикационным войнам», также считает журнальный импакт-фактор наиболее пагубным показателем, который вынуждает редакторов и издателей менять редакционную политику в угоду цифрам . «...Государственным органам внушили, что характеристики журнала, в котором публикуется статья, могут быть использованы как мера ценности отдельного исследователя (и организации). предоставление
грантов на исследования, присуждение научных степеней и званий, уровень зарплат (включая премиальные выплаты) оказались привязанными не к важности или качеству рассматриваемого исследования, а к журнальным показателям, которыми можно манипулировать» Например, один из узкоспециализированных педиатрических журналов поднялся в рейтинге на 9 пунктов, напечатав статью, в которой были процитированы все 65 статей, опубликованные в данном журнале за год .
Несмотря на двадцатилетнюю критику, вторит профессор биологии Стефен Керри из Имперского колледжа Лондона, этот показатель распространяется как раковая опухоль, демонстрируя статистическую безграмотность тех, кто пользуется этим показателем
Ив Гинграс, в частности, указывает на то, что в расчетах не учитывается смещенность распределения относительно среднего значения, в то время как исследования показывают, что не более 15 % статей обеспечивают 50 % ссылок на журнал .
В краткой рецензии на тысячестраничный манускрипт невозможно привести все авторские аргументы Но можем привести основной вывод о системных эффектах: показатели формируются и формируют политические решения; они ориентируют научные организации на определенные направления, влияют на распределение ресурсов, стимулируют расслоение и конкуренцию среди ученых, поощряют политику краткосрочных выгод и в результате оказывают влияние на этические принципы науки
Авторам сборника можно было бы предъявить претензию в тенденциозном отборе материалов, если бы мы не понимали, какому давлению глобальной административной машины пытаются они сопротивляться Впрочем, они и сами не забывают подчеркнуть значение накопленного наукометрического багажа, завершая сборник эпилогом-притчей о «младенце библиометрии», которого не стоит выплескивать с грязной водой
Т. В. Чеченкина старший научный сотрудник, Российский научно-исследовательский институт политики, экономики и права в научно-технической сфере (РИЭПП), Москва, Россия, [email protected]
