CC BY
85
АНТРОПОЛОГИЧЕСКИЙ ФОРУМ, 2019, №40
форум: прикладная наукометрия
Ан нотация: Дискуссия в рубрике «Форум» посвящена прикладной наукометрии, с которой сталкиваются большинство современных исследователей. Участники делятся своим опытом встречи с этой системой и обсуждают вопросы о том, нужна ли прикладная наукометрия и если да, то как она должна работать, чтобы, решая одни проблемы в организации науки, одновременно не создавать других.
Ключевые слова: прикладная наукометрия, рейтинги, индекс Хирша.
Для ссылок: Форум: Прикладная наукометрия // Антропологический форум. 2019. № 40. С. 11-84.
http://anthropologie.kunstkamera.ru/files/pdf/040/forum.pdf с! о т: 10.31250/1815-8870-2019-15-40-11-84
ANTROPOLOGICHESKIJ FORUM, 2 019, NO. 40
forum: applied bibliometrics
Abstract: This time, the discussion published under the heading "Forum" addresses the question of bibliometrics and its relation to the assessment of scholarly quality with which most scholars are now familiar. Participants share their experience with this system and discuss the question whether applied bibliometrics is a useful and necessary instrument of quality assurance in the academic world. If the answer is affirmative, what are the best ways of making sure that it does not become a problem in its own right. Keywords: applied bibliometrics, ratings, h-index.
To cite: 'Forum: Prikladnaya naukometriya' [Forum: Applied Bibliometrics], Antropotogicheskijforum, 2019, no. 40, pp. 11-84.
URL: http://anthropologie.kunstkamera.ru/files/pdf/040/forum.pdf doi: 10.31250/1815-8870-2019-15-40-11-84
форум
В форуме «Прикладная наукометрия» приняли участие:
Елена Львовна Березович (Уральский федеральный университет, Екатеринбург, Россия)
Николай Борисович Бахтин (Европейский университет в Санкт-Петербурге, Санкт-Петербург, Россия)
Катриона Келли (Catriona Kelly) (Оксфордский университет, Оксфорд, Великобритания)
Артем Анатольевич Космарский (Институт востоковедения РАН / Государственный академический университет гуманитарных наук, Москва, Россия)
Ив Левин (Eve Levin) (Канзасский университет, Лоуренс, Канзас, США)
Галина Анатольевна Орлова (Национальный исследовательский университет «Высшая школа экономики», Москва, Россия)
Алексей Асафьевич Оскольский (Ботанический институт им. В.Л. Комарова РАН, Санкт-Петербург, Россия / Университет Йоханнесбурга, Йоханнесбург, ЮАР)
Александра Михайловна Пиир (Европейский университет в Санкт-Петербурге / Музей антропологии и этнографии (Кунсткамера) РАН, Санкт-Петербург, Россия)
Альмира Усманова (Европейский гуманитарный университет, Вильнюс, Литва)
Игорь Игоревич Федюкин (Национальный исследовательский университет «Высшая школа экономики», Москва, Россия)
Стивен Хатчинс (Stephen Hutchings) (Манчестерский университет, Манчестер, Великобритания)
Дэвид Эджертон (David Edgerton) (Королевский колледж, Лондон, Великобритания)
Прикладная наукометрия
Дискуссия в рубрике «Форум» посвящена прикладной наукометрии, с которой сталкиваются большинство современных исследователей. Участники делятся своим опытом встречи с этой системой и обсуждают вопросы о том, нужна ли прикладная наукометрия и если да, то как она должна работать, чтобы, решая одни проблемы в организации науки, одновременно не создавать других.
Ключевые слова: прикладная наукометрия, рейтинги, индекс Хирша.
«Если звезды зажигают — значит — это кому-нибудь нужно?» Если последние 10— 15 лет по всему миру стремительно распространяется наукометрия, значит ли это, что она необходима? И если да, то кому?
Википедия учит нас, что наукометрия — это «дисциплина, изучающая эволюцию науки через многочисленные измерения и статистическую обработку научной информации (количество научных статей, опубликованных в данный период времени, цитируе-мость и т . д . )» . Однако большинство из нас сталкивается с наукометрией не как с научной дисциплиной, а как с необходимостью постоянно помнить о количестве публикаций, рейтинге журналов и издательств, в которых публикуешься, о том, чтобы вовремя загрузить статью в базу, дабы увеличить ци-тируемость... Модная в 1960-е гг . в американской науке формула publish or perish обогатилась, кажется, добавлением: publish in WoS or Scopus or perish .
Назовем это явление «прикладной наукометрией» (ПН), чтобы не обидеть ненароком почтенную научную дисциплину, и подумаем: почему эта ПН так бурно развивается? Какие проблемы она пытается решить? Кому это нужно и зачем?
1
2
Конспирологическая теория, как всегда, привлекательна, но вряд ли мы имеем дело с примитивным заговором с целью выманить у ученых деньги, заставить журналы и издательства платить наукометрическим гигантам, хотя эти гиганты чаще всего сами принадлежат издательским конгломератам . Стремление издателей журналов к прибыли (например, через переход на платную для авторов систему «золотого открытого доступа», gold open access) не объясняет привлекательности указателей цитируемости и т д для администраторов университетов и представителей министерств
Кажется, что ПН пытается решить какую-то важную проблему . Например, предложить выход из ситуации, когда ученые могли десятилетиями заниматься узкой и мало кого интересовавшей темой, ничего не публикуя. А если и публиковали, то вряд ли их кто-то читал .
Если это так, то задача ПН — повышение качественного уровня научных исследований, достичь чего она пытается количественными методами . То есть стремится создать механизм принуждения, который заставит ученых выбирать темы исследований, результаты которых будут охотно публиковать рейтинговые журналы, обильно цитировать коллеги и которые повысят всевозможные индексы как самого ученого, так и лаборатории, института или университета, в котором он или она работает
Для достижения такой цели необходимо, чтобы существовала сложная система оценки качества публикаций, в которой ПН является лишь одной из частей, наличествовал какой-то контроль со стороны того самого общества, о пользе которого мы печемся . Выполняет ли нынешняя система ПН свою функцию и в какой мере?
«АФ» предложил участникам дискуссии ответить на следующие вопросы:
Поделитесь своим опытом столкновения с прикладной наукометрией: видите ли вы положительные эффекты этой системы? Какие недостатки научного процесса она пытается исправить и насколько успешно? Какие аспекты функционирования системы ПН вам кажутся негативными или вредными?
Как система ПН соотносится с журнальными и издательскими критериями оценки качества публикаций, с университетскими критериями выбора и финансирования научных тем и поощрения тех направлений, которые дают рост наукометрических показателей?
Известны ли вам отличия в использовании ПН в разных странах? Если да, то каковы их преимущества и недостатки?
4
Нужна ли, с вашей точки зрения, система ПН? Если да, то как она должна работать, чтобы, решая одни проблемы в организации науки, одновременно не создавать других?
PS: Редколлегия журнала предупредила авторов, что реплики в разделе «Форум» не считаются научными статьями и не индексируются в наукометрических системах.
ЕЛЕНА БЕРЕЗОВИЧ
1
Елена Львовна Березович
Уральский федеральный университет, Екатеринбург, Россия
Положительные эффекты прикладной наукометрии есть, но они меркнут перед негативными. Наиболее предсказуемый эффект наукометрии хорошо известен и очевиден: путем создания индексов цитирования и прочего она способствует формированию общего научного и информационного пространства Но преувеличивать роль наукометрии в решении этой значимой задачи ни в коей мере нельзя, поскольку цифровые технологии в любом случае облегчают обмен информацией — вне ранжирования ученых, научных институций и журналов, которое обеспечивает своего рода «социалистическое соревнование» между ними (а этот эффект считать положительным никак нельзя, см ниже)
Из других положительных эффектов (менее очевидных) назову один, который тесно связан с моим личным опытом . Когда журнал «Вопросы ономастики», главным редактором которого я являюсь, был включен в WoS и Scopus, мы получили резкий рост количества присылаемых нам статей — разных, в том числе статей высокого качества (хотя, разумеется, и низкого тоже) . Журналом стали интересоваться хорошие авторы, которые, возможно, не проявили бы к нам
| интереса, если б мы не были отмечены членством в этих базах .
I Наверное, из этого следует еще один положительный эффект:
О
Ц собственно российская ономастика (ставшая в начале XXI в .
« весьма маргинальной областью лингвистической науки) полу-
§ чила дополнительный импульс для своего развития .
|
,11 Если обобщать, то последнее обстоятельство, наверное, можно
считать наиболее важным: наукометрия может привлечь хороших специалистов к тем областям науки, которые по каким-то внешним причинам испытывали нехватку сильных авторов Но этот фактор работает в значительной степени случайно, если журналу «повезет» пробиться в базы цитирования (в то же время мы хорошо знаем, что многие прекрасные журналы по важным областям науки не смогли в эти базы войти)
Однако если бы меня спросили, могу ли я отказаться от этой «привилегии» для своего журнала в обмен на исчезновение наукометрии из нашей жизни, я бы с радостью пошла на эту жертву (а мы добивались бы упрочения своего журнального положения «традиционными» путями, которые по-прежнему остаются основными)
Негативные следствия наукометрии перекрывают положительные эффекты, они глобальны и разрушительны. Перечислю лишь немногие, особо актуальные для той области науки, где я работаю, — языкознания .
1. Наукометрия способствует резкой ломке отечественных (европейских, мировых) традиций в сфере лингвистических исследований Она обесценивает создание словарей, лингвистических атласов, издание комментированных памятников языка, написание монографий, подготовку «толстых» серийных сборников etc . , которыми славилась и жила наша область . Отечественные лингвисты стараются как-то удерживать эти «бастионы» (написание словарей etc. ), но это делается исключительно вопреки системе оценки научных публикаций и превратилось в наше «хобби» . В то же время сама природа лингвистического (филологического, гуманитарного) знания такова, что для представления существенной части результатов принципиально важны крупные формы, а не оперативно печатаемые в журналах краткие «вести с полей» (что актуально для медиков, физиков и др )
2 . Наукометрия создает принципиально иной способ «добывания» научного знания . Можно говорить, что сейчас складывается новый тип ученого, которого мы условно назовем «ринце-виком», указывая тем самым на источник, откуда он черпает ссылки на литературу (разумеется, имеется в виду не только сам РИНЦ, но и любая другая база цитирования, содержащая
преимущественно актуальную журнальную информацию) . К ринцевикам относятся в первую очередь молодые ученые (аспиранты, магистранты и т .д . ), а из старшего поколения — в основном те, кто умеет «держать нос по ветру» . В ряде вузов аспирантов и студентов сейчас специально обучают, чтоб они стали ринцевиками, читая им лекции по наукометрии . Ринце-вики «кормятся» исключительно в РИНЦе (= другой базе), набирая нужные позиции по ключевым словам в поиске, а также читая статьи тех, кто их цитирует, и познавая тем самым пресловутую «радость взаимного цитирования»1 . Статьи ринцеви-ков легко опознаются по списку литературы: в нем практически нет фундаментальной литературы (особенно за пределом временных рубежей «ринцевания»), а есть только легкодоступные статьи в актуальных журналах, которые (вследствие ограничений на объем, принятых в журналах) тоже, как правило, недостаточно фундированы . Тем самым портится (не вырабатывается) вкус на хорошую научную литературу, создается новая легковесная («попсовая») наука, изобретаются давно открытые велосипеды и т д
Сказанное не перечеркивает важной роли РИНЦа (и подобных инструментов) в деле создания единого научного пространства. Она несомненна . Развивать РИНЦ, конечно, нужно . Но пока он будет поставлять нам преимущественно актуальные журнальные статьи, он останется лишь вспомогательным источником информации
3 . Наукометрия становится тем Мефистофелем, который искушает ученого стать конъюнктурщиком Сейчас я не беру во внимание откровенно неэтичные (с переходом в уголовные) поступки типа плагиата, печатания статей с помощью фирм-посредников и т п , но говорю о тех действиях, которые «как бы разрешены» и даже поощряются самой системой Самые простые и явные соблазны — заняться цитированием «по договору» и цитировать тех, кто занимает высокие позиции в базах. Увы, администрация вузов, насколько мне известно, уже не стесняется в ряде случаев открыто говорить сотрудникам о необходимости «договорного» цитирования. Еще более прискорбно то, что подобным принципам «легкого научного поведения» полуофициально учат молодежь (на занятиях по наукометрии, о которых говорилось выше)
4 . Очень прискорбно, но во многих гуманитарных областях наукометрические показатели кричащим образом не соответствуют той ценности ученого, которая определяется основным во все века механизмом оценки качества научного труда —
1 См.: <https://vimeo.com/84578182>.
| репутационным. Возможно, в естественно-научных сферах
I дела обстоят по-другому, но для гуманитариев (по крайней
0
Ц мере лингвистов) это именно так . Высокие показатели в ряде
« случаев имеют авторы, работающие в «модных» областях зна-
§ ния, причем мода отнюдь не предполагает хороший уровень
1 развития этой области . Здесь комментарии излишни, достаточно одного примера: индекс Хирша у крупнейшего лингвиста современности академика А.А. Зализняка равен этому же показателю у И . С . Карабулатовой, известной как минимум плагиатом. Не говорю о том, что, к примеру, академик В .А. Дыбо, работающий в очень узких, но крайне важных областях лингвистики (например, акцентологии), имеет весьма низкие показатели цитирования
5 . Наукометрия грозит стать душителем научного стиля литературного языка, если иметь в виду практически все национальные языки, кроме английского . Понятно, что причина здесь в том, что базы типа WoS индексируют преимущественно англоязычные журналы, в то время как гуманитарное (особенно филологическое) знание гораздо крепче, чем естественнонаучное, привязано к языку, который оно описывает Писать статьи по русской диалектологии на английском языке можно (и в каких-то, особенно просветительских, случаях нужно), но в нынешних реалиях это связано с гигантскими потерями времени, а главное — смысла, ведь многое (особенно оригинальные тексты) непереводимо, а иностранный русист или славист не может не знать исследуемый им язык Замечаю, что в ряде стран (например, в Польше) появляется сопротивление и некое обратное движение, напоминающее в чем-то борьбу молодых европейских национальных языков с латынью в эпоху Возрождения . Если природа не придумала никаких иных способов существования тел, кроме как жизнь и смерть, то культура не придумала лучшего способа выражения гуманитарного знания, чем национальный язык. Бороться с ним очень опасно . Более того, тотальное использование английского языка в качестве языка науки грозит большими потерями для него самого: мы знаем, какой странный воляпюк часто выдается за английский при экстренном переводе отчетных статей Во всем мире катастрофически не хватает переводчиков, способных адекватно передавать специализированные тексты гуманитариев на английском, услуги этих переводчиков очень дорого стоят . Сказанное в большой степени касается России: выпускники факультетов иностранных языков чаще всего знают прикладной английский или во всяком случае не тот его научный стиль, на котором пишутся, скажем, статьи по диалектной фонетике . Это особенно относится к тем гуманитарным наукам, которые имеют богатые традиции и развитую терминологиче-
2
3
скую систему. Есть и еще одна деталь, роль которой мы пока недооцениваем (и зря): расхождение между вариантами английского языка уже очень велико и грозит только увеличиваться . На каком варианте английского будут писаться статьи в недалеком будущем?
Здесь могут быть найдены только мягкие решения: в каких-то случаях создавать переводные версии журналов, переводные дайджесты самых заметных статей и пр
Система ПН напрямую соотносится с университетскими критериями выбора и финансирования научных тем . К счастью, журнальные и издательские критерии оценки качества публикаций определяются наукометрией в гораздо меньшей степени (а ряд журналов вообще не заражен ею) . В академической науке роль ПН явно ниже, чем в вузовской, но, к несчастью, ПН проникает и в академические сферы Вузы, особенно крупные университеты, включенные в программы «рейтингования», увы, думают исключительно в наукометрических категориях
Различия в использовании ПН в разных странах, насколько мне известно из общения с коллегами, разительны . Например, в Бельгии зависимость лингвистов от ПН огромна . Ценятся публикации преимущественно на английском (в ущерб государственным языкам — нидерландскому и французскому) . Прекратили существование некоторые собственно бельгийские журналы (например, "Slavica Gandensia"), публикации в которых имели низкую наукометрическую «цену» . Во Франции, насколько я могу судить по знакомым, жизнь лингвистов куда более безмятежна и «национально ориентирована» . Они спокойно пишут в свои французские журналы (разумеется, на французском), а про престижные базы цитирования просто «что-то такое слышали» Кажется, примерно та же мера безмятежности у австрийских коллег Польские и чешские коллеги очень хорошо знакомы с наукометрией, но высоко ценится в этих странах не столько WoS, сколько ERIH PLUS — база, которая специализируется на гуманитарных и социальных науках. Эта база более лояльна к публикациям на различных европейских языках . Безусловно, такие приоритеты (гуманитарная специализация и национальные языки) можно считать существенными плюсами. К числу различий в системе ПН между российской и, скажем, польской наукой можно отнести еще и большую централизацию при подсчете, принятую у поляков . Так, участникам конференции в Польше, в которой мне довелось участвовать в октябре 2018 г . , организаторы объявляют балльную «стоимость» публикации по итогам конференции: допустим, нам предлагается печататься в журнале "Annales Universitatis Mariae Curie-Sklodowska" (sectio FF — Philologiae),
4
статья в котором на текущий момент «стоит» 6 «пунктов» (по принятой у поляков системе подсчета) . Со стороны кажется, что такая централизация (в пределах страны) удобнее, чем отсутствие оной: при централизации меньше зависимость от местного (вузовского) начальства, которое у нас в каждом вузе и академическом институте «пляшет» по-своему (в одних местах учитываются «квартили» журналов, в других — нет etc . ) . Но для того чтобы оценить централизацию как безоговорочный «плюс», надо изнутри понимать, насколько гибкой является эта система .
Говоря о различиях между странами, следует отметить, что жесткость наукометрической системы в той или иной стране неминуемо ведет к повышению количества «мусорных» публикаций . Здесь можно привести пример Казахстана, где наукометрические «гайки», по рассказам коллег, стали «закручиваться» раньше, чем у нас, и очень жестко: выяснилось, что ежегодно, начиная с 2013 г . , до трети всех статей казахстанских авторов в базе Scopus публикуются в так называемых «журналах-хищниках»1 .
С моей точки зрения, система ПН не нужна вовсе . Нужны только базы научных трудов открытого доступа, скажем, такие как Academia . edu .
КАТРИОНА КЕЛЛИ
Катриона Келли (Catriona Kelly)
Оксфордский университет, Оксфорд, Великобритания [email protected]
Этот «Форум» поднимает чрезвычайно важный вопрос о том, как лучше всего оценивать качество научных публикаций Разные академические системы по-разному справляются с этой проблемой В Англии университеты оцениваются не только по исследовательской деятельности — оценке подлежат и качество преподавания и инфраструктуры, и уровень удовлетворенности студентов2 . Но государственный аудит исследовательской деятельности (ныне известный
<https://ru.sputniknews.kz/society/20180129/4412627/scopus-ochistilsya-ot-musornyh-zhurnalov-so-statyami-kazahstanskih-uchenyh.html>.
О последней версии системы оценки преподавания (Teaching Excellence Framework) можно прочитать здесь: <https://www.timeshighereducation.com/news/teaching-excellence-framework-tef-results-2017>. Предыдущая версия, Обследование качества преподавания (Teaching Quality Assessment), проводилась в 1996 г. и включала инспекцию на местах, но от нее тогда же и отказались, поскольку она оказалась слишком громоздкой и дорогой. Государственная аттестация преподавания (TEF) интересуется только бумагами.
как Национальная комиссия по оцениванию университетских исследований — Research Excellence Framework, REF) имеет значительно более длинную историю, чем оценка преподавания британскими государственными ведомствами, а значит, успел сильнее повлиять на управление и кадровую политику университетов Сейчас многие университеты выстраивают свои кампании по набору персонала так, чтобы к очередной проверке уже можно было учесть показатели новых сотрудников . Раньше тех, кто получал позиции по такой схеме, называли «футболистами-легионерами», но потом правила изменились, и теперь труд недавно нанятых работников учитывается дважды: и в том университете, откуда они уволились, и там, куда их только что взяли Есть, однако, и другие способы раздуть показатели Пожилых сотрудников, которые на момент следующей проверки уже уйдут на пенсию, могут вынудить уволиться «по собственному желанию», чтобы их место заняли исследователи помоложе . Они получают краткосрочный контракт на «перспективной» позиции, подают свои публикации для очередной REF, а затем меняют место работы . И все же нельзя сказать, что эта принудительная кадровая текучка — исключительно результат аудита исследовательской деятельности Скорее это связано с тем, что в последние годы приоритеты все больше смещаются в сторону прибыли и попутно растет прекаризация академического труда (например, сотрудники, нанятые по так называемым «нулевым трудовым договорам» ("zero-hours contracts"), оказываются в ситуации крайней прекарности) Аудит — это скорее удобный инструмент прекаризации, но не ее первопричина
Еще в 2005 г . исследователь культуры Джон Фроу, который работал на тот момент в Университете Эдинбурга (сейчас он уже вернулся на родину, в Австралию), призвал британских ученых к ответу за их постоянные жалобы на растущую забюрократи-зированность университетов . Фроу утверждал, что «класс знания» (так он назвал исследователей) был «сформирован своей близостью к бюрократии <...> и "гибким" формам бюрократической рациональности» [Frow 2005: 276]. Поэтому, считает он, когда ученые критикуют «бюрократию», они непоследовательны и занимаются самообманом Но Фроу призывал не к отказу от протестов, а, напротив, к активному отклику на требования государства: «Мы должны предложить альтернативные формы измерения, чтобы выявить те опосредованные и долгосрочные формы эффективности, которые характерны для нашей работы . Чем бы мы ни занимались, нужно помнить, что знание, которое мы производим, имеет последствия и что у нас есть более тонкие способы их обобщить и представить»
| [Frow 2005: 277]. Фроу говорил конкретно о переносе знаний,
I который тогда понимался в узком коммерческом смысле
Ц («вклад в экономику Англии») . И в 2014 г . REF действительно
« пыталась оценить этот самый перенос (теперь его называют
§ «импактом») в некоммерческом, хоть и достаточно туманном
I смысле . Перед нами пример, когда консультации и диалог дей-
ствительно дают результат, пусть и непопулярный и во многих отношениях неудовлетворительный .
Теперь, по прошествии времени, можно сказать, что научный аудит как таковой во многом оказал положительное влияние на британскую науку. Сейчас уже не так просто принять на работу какого-нибудь «блестящего» ученика имярека (почти непременно мужчину) . Отбор кадров стал более профессиональным, и собеседования больше не выглядят как набор случайных вопросов об организации преподавания и обязательно включают серьезное обсуждение научных работ кандидата Раньше сотрудник университета запросто мог заниматься только преподаванием либо полностью посвятить себя такой теме, как «Влияние усовершенствованных методов кораблестроения на развитие экономики в период с 1450 по 1485 г. », цитируя меткую иронию из романа Кингсли Эмиса 1954 г . «Везунчик Джим»1 . Сейчас такое трудно себе представить . В результате, правда, подобные чудаки, которые нет-нет да и создадут что-то действительно новое, совсем повывелись, и в этом тоже хорошего малого Кроме того, погоня за «импактом» поощряет выпускать книги, которые имеют высокую общественную значимость, но почти или совсем не продвигают вперед науку. Но общий уровень интеллектуальной деятельности в Британии вырос (неизвестно, сохранится ли этот рост после брексита, но надежда умирает последней)
Я привела пример с «импактом», чтобы показать, что в Британии ПН — не единственный источник противоречий в системах оценки качества . ПН вообще никого особо не беспокоит, потому что к ней не так часто прибегают, а уж в гуманитарных и социальных науках ею и вовсе не пользуются Дело в том, что эти данные мало что могут сказать, потому что импакт-факторы у различных ведущих журналов невысоки и разброс между ними невелик. Последние доступные годовые показатели цитирований у "American Historical Review" — 1,145 (2016), "Journal of Contemporary Ethnography" — 0,86 (2017), "Past and Present" — 0,222 (2009), у "English Historical Review" — 0,3 (2014) . Можно сравнить с совершенно другим порядком цифр пятилетнего им-пакт-фактора на 2017 г . у "Physiology" — 6,5, а у "Physiological
1 Цит. по изданию: [Эмис 2011].
Reviews" и вовсе 34,2' . Между тем перечисленные журналы — топовые для гуманитарных и социальных наук, и едва ли чуть более высокий импакт-фактор у "Slavic Review" (0,4), журнала с хорошей репутацией в своей области, серьезно меняет дело, когда речь заходит об оценке индивидуального CV или исследовательской продуктивности конкретной организации
Понимая все это, британские специалисты по гуманитарным и социальным наукам относятся к достоинствам ПН по меньшей мере скептически. Примечательно, что REF и ее предшественник RAE (Государственная научная проверка — Research Assessment Exercise) стараются избегать использования ПН и других количественных инструментов для оценки представляемых документов. Пилотная проверка 2008—2009 гг. (за которой последовала REF 2014 г . ) «заключила, что информация о цитированиях недостаточно надежна, чтобы ее можно было использовать условно (formulaically) или в качестве основного показателя качества в REF»2 . Хотя это экспериментальное исследование также установило, что «в определенных пределах такие данные могут использоваться для лучшего обоснования и совершенствования экспертизы», никаких четких выводов о возможном характере этих «пределов» не последовало . Индексы цитирования использовались только в 11 подгруппах дисциплин . Все они, кроме экономики, относятся к естественным наукам (медицина, биология, химия, физика, сельское хозяйство и ветеринария и т.д . )3 . По всем остальным дисциплинам главным методом оценки в REF был и остается следующий: эксперты читают статьи, книги и другие «продукты», предоставленные исследователями из вузов, участвующих в проверке, и сами делают выводы о том, имеет ли то или иное исследование международное или только национальное значение
Оценивание качества исследовательской деятельности в отдельных университетах выглядит примерно так же . У меня за плечами более 25 лет опыта членства в отборочных комитетах для заполнения академических позиций, кроме того, мне приходилось участвовать в аттестационных комиссиях в собственном университете и выступать в качестве эксперта при переаттестации (promotions) или назначении на постоянные позиции (tenure) (или, в Британии, подтверждении назначения — confirmation of appointment) во многих других университетах англоязычного мира . Я также занималась оценкой заявок
<https://www.physiology.org/IF2017>.
<https://www.ref.ac.uk/2014/about/background/bibLiometrics/>. <https://www.ref.ac.uk/2014/about/guidance/citationdata/>.
| на гранты, не только в Англии, но и в других странах Европы,
I включая заявки на мегагрант Немецкого исследовательского
Ц фонда (Forschungsgemeinschaft) . Я была президентом главной
« международной научной ассоциации в моей области ASEEES
§ (Американская ассоциация восточноевропейских, евразий-
I ских и славянских исследований), являюсь действующим чле-
ном Британской академии, и у меня есть обширный опыт участия в редакционных коллегиях ведущих научных журналов и книжных серий . И ни в одном из этих контекстов я ни разу не слышала, чтобы кто-то апеллировал к ПН и/или индексам цитирования коллег-исследователей .
Сейчас некоторые научные издательства весьма озабочены продажами и могут сослаться на показатели продаж предыдущей книги того или иного автора, поясняя, почему они будут или не будут печатать новую Но все эти цифры работают только во внутренних делах издательств и никак не влияют на решения их научных консультантов . Конечно, вклад исследователя важен, но то его измерение, которое дает индекс цитирования, в лучшем случае случайно . Как замечает Франк, «на рынке научной коммуникации новая теория поначалу часто привлекает гораздо больше внимания, чем потом, когда к ней присмотрятся внимательнее» [Franck 1999]. И точно так же книга может получить множество наград и в считанные месяцы кануть в небытие, в то время как издание, которое не привлекло особого внимания сразу после выхода, может годами стабильно набирать популярность . В социальных и гуманитарных науках очень сложно измерить реальное влияние публикаций. Часто случается, что чем оригинальнее идея, тем больше нужно времени, чтобы ее переварить . Возможно, переиздания были бы лучшим показателем непреходящего уровня качества, чем цитирования, тем более что последние часто делаются механически, без глубокого знакомства с содержанием
Я знаю, что ПН и индексы цитирования — это болезненная тема для российских исследователей, потому что в России их сейчас стали использовать гораздо шире и, если у меня сложилось верное впечатление, гораздо более произвольно и неуклюже, чем в других академических культурах, с которыми я более или менее знакома . Например, эксперт, который оценивал заявку на грант, куда один российский университет вписал меня в качестве академического партнера, отметил, что мои показатели, согласно ПН и индексам цитирования, не слишком впечатляют Не уверена, что сравнение уместно, но ранее сей изъян (изъян ли?) никем замечен не был . По всему миру можно найти свидетельства масштабных искажений, которые вносят в индексы «картели цитирований» ("citation
cartels") «Если научная карьера исследователей зависит от того, сколько у них цитирований, то для тех из них, кто стремится привлечь внимание, рационально будет максимизировать внимание, полученное через цитирования» [Franck 1999].
Формирование «картелей» характерно, в частности, для академических культур, замкнутых на самих себя, поэтому я бы сказала, что ПН не только по сути своей ненадежна, но и особенно контрпродуктивна в тех условиях, которые российские авторы «Форума» назвали одними из главных проблем науки в своей стране: низкая географическая мобильность и доминирование «школ», члены которых поддерживают тесные связи с одним или несколькими учеными старшего поколения, а также друг с другом (см . , например: [Форум 2008]) . Поэтому я думаю, что российским исследователям нужно приложить все усилия, чтобы не допустить засилья ПН и индексов цитирования, даже если отдельные индивиды (те, кому удается публиковаться в «рейтинговых» журналах) сумеют извлечь из них выгоду. На мой взгляд, нормальная работа института рецензирования, международное сотрудничество, совместные публикации с учеными из других стран и, конечно, на разных языках, открытая конкуренция за академические позиции и оценка научных заслуг по содержательным публикациям (2—3 глубокие статьи, прошедшие рецензирование, создают молодому исследователю куда более внушительное резюме, чем бесконечная череда «тезисов докладов» и других подобных публикаций на скорую руку) — это значительно более подходящие пути для повышения качества гуманитарных и социальных исследований, а значит, именно в этих направлениях и нужно смотреть в поисках инструментов оценки научных заслуг
Источники
Эмис К. Везунчик Джим / Пер . Ю . Фокиной . М . : АСТ, 2011. 319 с . Библиография
Форум «Престиж в науке (обсуждение статьи М . Соколова)» // Антропологический форум. 2008. № 9 . С . 7—120 . Franck G. Scientific Competition — A Vanity Fair? // Science . 1999 . Vol. 286 . No. 5347 . P. 53—55 . <http://science.sciencemag. org/ content/286/5437/53> . Frow J. The Public Humanities // Modern Language Review. 2005 . Vol . 100: Supplement: 100 Years of "MLR" . P . 269-280.
Пер. с англ. Александры Касаткиной
АРТЕМ КОСМАРСКИИ
1
Артем Анатольевич Космарский
Институт востоковедения РАН / Государственный академический университет гуманитарных наук, Москва, Россия [email protected]
Как ученые, мы можем — и даже обязаны — не просто иметь личное мнение о важнейших условиях, определяющих нашу деятельность (в данном случае о прикладной наукометрии), но и понимать, откуда они взялись и почему стали необходимы . Только потом становится возможным обоснованно ответить на вопрос о сильных и слабых сторонах
Мне представляется, что ПН — индекс Хир-ша, импакт-факторы журналов и т . п . — развилась в конце ХХ — начале XXI в . благодаря взрывному росту числа ученых и научных учреждений в мире в 1960-1970-е гг. В этот период выросло число претендентов на государственное финансирование, доля которого с 1980-х гг. начала постепенно сокращаться [Mervis 2017]. Рост конкуренции на научном рынке сопровождался формированием социального запроса на прозрачность и справедливость распределения средств на научные исследования: делать это келейно, по неясным для налогоплательщиков правилам стало неприемлемо . Появилась потребность в единообразных правилах и объективных критериях для оценки научной деятельности, в результате чего развились самые грубые, но зато емкие метрики (цити-руемость, индекс Хирша, статус журнала — по квартилям и импакт-факторам) . Из всего многообразия результатов научной работы были выбраны самые массовые, регулярные и единообразные, а именно журнальные статьи
Второй, даже более важный социальный механизм, породивший ПН, — глобальная перестройка науки и образования в ту же эпоху (начиная с восьмидесятых) по принципам неолиберального управления, или new public management (NPM) . Эта перестройка описывается как экспансия бизнес-моделей в социальные сферы (науку, образование, здравоохранение) [Shore 2008].
4
От ученых стали требовать измеримых, поддающихся количественной оценке результатов, а также планирования этих результатов. Исследователи теперь вынуждены не только «следить за собой», за выполнением поставленных перед ними KPI (key performance indicators), но и соревноваться друг с другом, у кого эти показатели за истекший период времени выше [Müller 2014].
Ожидалось, что эта перестройка, в частности введение прикладной наукометрии, сделает науку более эффективной, гибкой, прозрачной, динамичной, усилит обратную связь между учеными и заказчиками исследований (частными или государственными), позволит быстрее выявлять перспективные направления . Однако по мере внедрения ПН в полную силу заработал знаменитый закон Гудхарта: когда социальный или экономический показатель (KPI) становится целью для проведения социальной или экономической политики, он перестает быть достойным доверия . Или, даже точнее, закон Кэмпбелла: «Чем более какой-либо количественный социальный индикатор используется для принятия социального решения, тем больше он будет подвержен искажающим влияниям и тем более вероятно будет извращать и нарушать социальные процессы, контролировать которые предназначен» [Campbell 1979: 85].
То есть чем больше финансирование и другие бонусы привязываются к формальным метрикам, тем больше их «взламывают» Иногда грубым способом, например накруткой цитирований, форсированной публикацией статей в сомнительных или даже хищнических журналах, попавших в Web of Stience и Scopus1 . Иногда мягким, но еще более опасным: когда ученый вполне добросовестно думает не о том, как добыть новое знание и поделиться им с коллегами, а о том, как пролезть в высокоимпакт-ный журнал и улучшить свои (или своей лаборатории) наукометрические показатели То есть форма (индикаторы) становится важнее содержания (самих исследований) Именно эти закономерности, а не только слабая пригодность существующих механизмов ПН для оценки дисциплин, далеких от «журнало-центричных» естественных наук, вызывают самые большие сомнения в адекватности данного инструмента
Совершенно очевидно, что при всем несовершенстве оценок и уязвимости перед фальсификациями прикладную наукометрию невозможно отменить и мгновенно вернуться к прошлому, к «золотому веку» организации науки в доцифровую эпоху . Обычная реакция на «тиранию метрик» [Muller 2018] — гнев, возмущение, критика этих показателей
1 <https://www.facebook.com/groups/klnran/permalink/1801313299979866/>.
| Иногда встречаются и более конструктивные призывы приме-
Si нять количественные индикаторы ответственно и профессио-
Ц нально, учитывая различия между отдельными дисциплинами
« и практиками соавторства (например, в знаменитом Лейден-
§ ском манифесте [Hicks et al . 2015]) . Однако этого мало . При-
I зывы стать более вдумчивым и ответственным, не подкреплен-
ные санкциями или ощутимыми стимулами, рискуют остаться неуслышанными . Слишком привлекательна именно кажущаяся простота ПН, позволяющая быстро формализовать и перевести в цифры такую сложную и неуловимую вещь, как значимость и качество научного труда (или работы ученого, а то и целого института)
С моей точки зрения, лучший выход для научного сообщества — не критиковать существующую наукометрию, не рассуждать, нужна она или нет, а предлагать новые инструменты оценки, того, что называется research evaluation, — более адекватные и пользующиеся доверием ученых. Наукометрия должна не навязываться сверху (администраторами), а выстраиваться снизу, в дискуссиях самих ученых, и она должна быть достаточно разнообразной, чтобы отражать множественность реальных научных практик и академических культур.
Как это возможно на практике? Я предложил бы подумать над двумя идеями . Во-первых, невидимый труд, который является важной составляющей научной деятельности, однако не получает быстрого вознаграждения в виде символического признания и одобрения от коллег . Это кропотливая работа в лаборатории, архиве, длительная подготовка публикаций, рецензирование статей для научных журналов и т . п . Множества научных практик не замечает и система ПН, в значительной степени распознающая и вознаграждающая лишь одну форму деятельности — написание статей в журналах . Другие виды деятельности (участие в семинарах, рецензирование, редактирование работ коллег, участие в «мозговых штурмах», неформальное научное руководство, административная работа) «не видятся» и слабо учитываются при карьерном продвижении и выдаче грантов Наверное, имеет смысл задуматься о гибкой системе метрик, которая позволит сделать видимым и вознаграждаемым этот невидимый труд, а также о программных приложениях, отмечающих его (по аналогии с фитнес-трекерами или Foursquare, например) .
Вторая идея — обогатить функционирование науки технологией блокчейна . Блокчейн — это современная система хранения информации: блоки данных, соединенных так, чтобы изменить содержание одного блока стало невозможно, не трогая все остальные Криптовалюты (биткойн и другие) сделали блок-
чейн успешной и популярной технологией, соединив несколько важных свойств: криптографические инструменты, механизм достижения консенсуса внутри системы в условиях недоверия участников друг к другу, вознаграждение участникам сети за поддержание ее работы (майнинг) .
Но при чем тут наука? Прежде всего при том, что блокчейн обещает улучшить разного рода «большие» системы реального мира, вроде выборов, государственного управления, страхования, ритейла — системы, где множество непрозрачных трансакций, «черных ящиков» и где агенты не до конца доверяют друг другу . В блокчейне (распределенном реестре) данные:
• открыты (open);
• прозрачны (transparent);
• верифицируемы (verified);
• стабильны (immutable) — технически невозможно изменить их задним числом, не оставив явный след в системе;
• и децентрализованы (decentralized) — включаются в систему и убираются из нее при условии консенсуса всех участников, а не одного центрального узла власти (central authority), а также распределены по разным точкам .
Современная наука имеет много общего с блокчейн-средой: она так же децентрализована (нет центральной власти) и развивается благодаря сетям доверия и договорам внутри сообщества (современный механизм peer review или средневековый — opinio communis doctorum) . Однако на уровне управления, финансирования, экспертной оценки в науке очень много непрозрачных «черных ящиков»: в принятии и рецензировании статей в журналах, в определении грантополучателей, наконец, в том же исчислении и применении к оценке конкретных ученых наукометрических показателей — кто-то как-то подсчитал, кто-то как-то решил . Конечно, и работа самих ученых с их данными не менее далека от идеала, изобилует «черными ящиками», подкручиванием данных, постфактум подверстывани-ем данных под гипотезы или откровенной манипуляцией исходниками [Head et al. 2015; Herold 2018].
Но как раз неожиданное совпадение логики блокчейн-среды и логики открытой науки обещает интересный результат Блокчейн делает возможной децентрализованную, саморегулирующуюся систему данных . Он создает общую инфраструктуру, где все транзакции сохраняются «Научные данные по своей сути представляют собой большой динамичный корпус информации, которая коллективно (коллаборативно) создается, изменяется, используется и которой обмениваются, что
идеально совмещается с технологией блокчейна» [van Rossum 2017: 8].
Возможно представить себе цифровую платформу, где фиксируется и оценивается — в многомодульной наукометрической системе — любая полезная для науки деятельность: проведение исследований, представление признанных научным сообществом результатов, экспертиза статей и заявок, неформальные советы, руководство исследованиями студентов и аспирантов Список открытый!
Там работает гибкая система мер и весов, где правила (как что оценивается) и результаты их применения (кого как оценить) определяются динамически, сообществом ученых и их коллег (например, редакторов), заинтересованных в каждой конкретной подсистеме взаимодействий Эти подсистемы могут совпадать с реальными институциями (институт РАН), строиться по сетевому принципу (мировое сообщество византинистов), даже охватывать ненавидящих друг друга специалистов, как в российской политологии. Главное, что их объединяет интерес, по выражению Пьера Бурдье: заинтересованность в существовании того или иного поля, с его специфическими ставками и ценностями, к которым равнодушны «чужие» [Бурдье 1994]. Далее такие внутренние системы оценок и критериев, опять же через открытые, зафиксированные на блокчейне переговоры конвертируются в меры, понятные и полезные для внешних агентов (фондов или министерств)
С позиции акторов это может выглядеть так: я ученый — у меня есть моя репутация Она неотчуждаема Она складывается из множества факторов и меняется в результате разных действий в системе Я написал рецензию, которую оценили коллеги, опубликовал статью, дал ценный совет аспиранту, меня процитировал статусный ученый — это тысячи капель, которые вливаются в мою репутацию И одновременно это действия, ценность которых зависит от их резонанса, от того, насколько они были приняты, одобрены, использованы в дальнейшей работе другими учеными
Конечно, сразу такую систему не построить: отчасти из-за инертности и консерватизма академической системы, отторжения новых решений по управлению наукой (потому что обычно такие решения вводились директивно и насильственно), отчасти из-за отсутствия простых и доступных массам ученых программных решений Введение блокчейна в науку и его успешное принятие зависит от сотрудничества между ключевыми игроками — частными и государственными фондами, министерствами, вузами, институтами, библиотеками, журналами
Блокчейн может работать именно как технологический «фундамент» науки, живущей в реальном времени (а не инструмент отчетности и подсчета показателей за истекший период) . Таким образом, наукометрия будет уже не накладываться на науку извне, как грубый и чуждый ей измерительный инструмент, а органически вырастать из нее, выделяться, как пот на бегущем человеке, по правилам игры, определяемым изнутри.
И как фундамент, подоснова блокчейн гарантирует прозрачность, неизменность и безопасность данных, позволяет отмечать все транзакции (кто, что, для кого и как сделал) . Далее, нельзя забывать о децентрализующем и демократическом принципе работы этой технологии — блокчейн позволяет пользователям системы (ученым и научным фондам, например) самим определять правила взаимодействия (через смарт-контракты)
Более того, центральным для современных блокчейн-систем становится концепт токена — это не денежная единица, как криптовалюты, а технологически защищенная абстрактная единица ценности, смысл и правила оборота которой определяет сообщество пользователей (подробнее об экономическом смысле токена и его неопределенности см . : [Bordeleau 2017]) . Например, можно токенизировать благодарность за комментарии к научным работам друг друга и запретить такие токены продавать (только дарить) или токенизировать голоса, поданные при голосовании на тему авторитетности того или иного ученого в некоем вопросе . Или репутацию, оцениваемую и измеряемую нелинейным образом Но здесь мы пришли совсем на передний край технологического пронизывания реальности, где идут эксперименты по новым способам соединения, «пересшивания» количественного и качественного, политики и экономики, субъективных чувств и исчисляемых индикаторов, и разумнее пока остановиться
В заключение вернусь к проблеме наукометрии . Все современные системы оценки науки (отдельных ли публикаций, проектов, ученых или достижений институтов и целых стран) опираются на два принципа. Первый — оценка по формальным наукометрическим показателям: индекс Хирша и его модификации, импакт-факторы журналов, попадание в базы Web of Science и Scopus (что гарантирует некий уровень работы), альтметрики Второй — экспертная оценка: специалист не смотрит на цифры индексов и квартилей, а также на регалии, а в первую очередь оценивает качество самой работы, опираясь на свое экспертное знание о дисциплине
Оба принципа в той или иной комбинации реализуются во всех системах оценки науки в мире, однако в каждом из них
| есть системные, неустранимые уязвимости . Наукометрия или
I грубо «взламывается» (накрутка цитирований, протаскива-
ла ние в авторитетные базы данных сомнительных журналов),
« или, что еще хуже, ученые бросают все свои усилия на «фор-
§ му» вместо содержания — гонятся за быстрыми публикация-
I ми в журналах, из-за чего выбирают модные темы, «подтяги-
вают» результаты опытов и т .д . «Качественная» экспертиза страдает от классических проблем политики и юстиции — от того, кто назначает судей и выбирает депутатов, от непрозрачности критериев, конфликтов интересов, личных симпатий и антипатий
Применение блокчейна позволяет совместить эти системы, снимая их недостатки. Это система распределенных вычислений — и в ней работа по экспертизе будет распределена по сети ученых и объединена в один процесс с собственно исследовательской и публикационной активностью . Иными словами, экспертная, репутационная оценка в такой системе «лечится» формализацией, прозрачностью и привязкой к материальной ответственности (и заинтересованности) — видно, кто за кого чем (какой долей своего научного капитала) поручается, кто на кого ставит и каков «вес» каждого Наукометрия же «лечится» своей децентрализацией: нет больше никакого центрального источника власти, решающего, какой журнал «мусорный», а какой — нет, решения принимают сами ученые посредством сети
Как я писал в пункте 1, наукометрия во многом выросла из кризиса доверия в науке . Блокчейн же как раз и нацелен на решение проблемы недоверия: как выстроить адекватную (защищенную от разрывов между показателем и тем, что за ним скрывается) и работающую систему из множества не доверяющих друг другу субъектов . Таким образом, предлагается не перебрасывать работу экспертизы на узкий пул экспертов, на которых давят бюрократические правила, жестко направляющие их работу (как в британской системе REF1), а распределить ее по всей сети ученых с помощью инфраструктуры блокчейна Наукометрию будет осуществлять не узкий круг экспертов (владеющих самим инструментом, умеющих обращаться с этим «черным ящиком» или просто занимающих руководящие должности) несколько раз в год за закрытыми дверями, а все научное сообщество — открыто, в реальном времени, с помощью децентрализованной технологии.
1 <https://www.ref.ac.uk/about/what-is-the-ref/>.
Библиография
Бурдье П. Социология веры и верования социологов // Бурдье П . Начала. М . : Socio-Logos, 1994. C . 133-140 .
Bordeleau E. We Don't Know Yet What a Token Can Do // Medium: Economic Spacing. 2017, Sept. 12 . <https://medium. com/economic-spacing/we-dont-know-yet-what-a-token-can-do-1d76671303ed> .
Campbell D.T. Assessing the Impact of Planned Social Change // Evaluation and Program Planning . 1979. Vol. 2 . No . 1 . P . 67-90 .
Head M.L., Holman L., Lanfear R., Kahn A.T., Jennions M.D. The Extent and Consequences of P-Hacking in Science // PLoS Biology. 2015 . Vol. 13 . No. 3 . P. e1002106. <https://doi. org/10 ,1371/journal. pbio ,1002106> .
Herold E. Researchers Behaving Badly: Known Frauds Are "the Tip of the Iceberg" // Leapsmag . 2018, Oct. 19 . <https://leapsmag. com/ researchers-behaving-badly-why-scientific-misconduct-may-be-on-the-rise/>
Hicks D, Wouters P., Waltman L., de Rijcke S., Rafols I. Bibliometrics: The Leiden Manifesto for Research Metrics // Nature . 2015, April . No . 520 . P. 429-431 (перевод на русский язык: <http://sociologos. net/node/484>) .
Mervis J. Data Check: U . S . Government Share of Basic Research Funding Falls Below 50 % // Science News . 2017, March 9 . <https://www. sciencemag . org/news/2017/03/data-check-us-government-share-basic-research-funding-falls-below-50> .
Muller J.Z. The Tyranny of Metrics . Princeton, NJ: Princeton University Press, 2018 .240 p .
Müller R.. Racing for What? Anticipation and Acceleration in the Work and Career Practices of Academic Life Science Postdocs // Forum: Qualitative Social Science Research. 2014 . Vol. 15 . No . 3 . <http:// www . qualitative-research, net/index . php/fqs/article/view/2245/> .
Shore Ch. Audit Culture and Illiberal Governance: Universities and the Politics of Accountability // Anthropological Theory . 2008 . Vol . 8 . No 3 P 278-298
van Rossum J. Blockchain for Research . Perspectives on a New Paradigm for Scholarly Communication // Digital Science Report . 2017, Nov . <https://doi . org/10. 6084/m9 . figshare . 5607778> .
ИВ ЛЕВИН
1
Ив Левин (Eve Levin)
Канзасский университет, Лоуренс, Канзас, США
С наукометрией я сталкивалась прежде всего в двух своих ипостасях: во-первых, как глава департамента истории Университета Канзаса (США) и, во-вторых, как редактор "The Russian Review" — научного журнала с многолетней репутацией . Мой опыт отно-
| шений с наукометрией в качестве главы департамента связан
I прежде всего с частной компанией под названием «Научная
Ц аналитика» ("Academic Analytics"), для которой наукометриче-
« ские данные — это главный инструмент оценки качества ака-
§ демических программ . Как и многие другие университеты
I в США, мой университет заключил с «Научной аналитикой»
контракт и дает им доступ к данным, которые затем используются для принятия решений о распределении ресурсов по департаментам . Как редактор журнала, я имею доступ к наукометрическим данным по обращениям ко всему журналу или отдельным статьям, которые собирает наш издатель, "Wiley" . Я знаю, что другие наукометрические службы тоже собирают данные по статьям, опубликованным в "The Russian Review", но этими данными я систематически не пользуюсь
Насколько я понимаю, задача прикладной наукометрии — обеспечить объективные показатели востребованности и влиятельности отдельных научных библиографических единиц. Предполагается, что если тексты рассортированы по авторам, то прикладная наукометрия объективно продемонстрирует значимость каждого отдельного исследователя . Эти претензии обоснованы только в том случае, если в базе представлены все данные, а алгоритмы определения личного вклада легитимны
К сожалению, данные в базах представлены далеко не полностью . Многие журналы вообще не индексируются, особенно если их публикуют провинциальные институции или небольшие профессиональные организации. В некоторых случаях индексируется только часть выпусков, например только доступные в интернете или имеющиеся в библиотеках, которыми пользуются наукометрические службы Когда я впервые заглянула в базу «Научной аналитики» в 2014 г. , то с удивлением обнаружила, что там представлены статьи "The Russian Review" только с 1996 г . (так совпало, что это год, когда я стала редактором) и еще два более ранних выпуска за 1987 и 1989 гг . «Вопросы истории», ведущий российский исторический журнал, был представлен еще более странно: только 1953 и 1954 гг. В 2017 г. "The Russian Review" был полностью исключен из базы «Научной аналитики», вероятно потому, что при публикуемых статьях не оказалось двух обязательных элементов, а именно DOI (уникальный номер, который присваивается каждому тексту) и электронного адреса автора . Кроме того, наукометрические службы в большинстве своем не способны учитывать отдельные главы книг, и это тоже источник проблем . Ведь в гуманитарных и социальных науках нередко именно книги и сборники являются вехами научных дискуссий . Когда столько важных публикаций просто не учитываются в базах, о сколько-нибудь авторитетной оценке вклада не может быть и речи
2
Не все ясно и с алгоритмами оценки . Те наукометрические алгоритмы, которые мне доводилось видеть, предполагают, что наиболее серьезное влияние статьи оказывают в первые годы после публикации, а через 5—7 лет они теряют значение . Но как раз в гуманитарных науках статьи могут оставаться чрезвычайно влиятельными десятки лет Каждый год в список наиболее читаемых в "The Russian Review" (судя по данным Wiley) входят не только свежевышедшие статьи, но и опубликованные десятилетиями ранее Алгоритмы также благоволят к высоким показателям цитирования, хотя на самом деле их определяет скорее количество исследователей, которые специализируются в той или иной области, чем качество цитируемых текстов Алгоритмы не способны принять в расчет, как именно цитируется работа: с негодованием, как, к примеру, публикации отрицателей Холокоста, или с восхищением . Есть также сложности с отслеживанием публикуемых книг . Заглянув в показатели публикационной активности сотрудников моего департамента, которые вывела «Научная аналитика», я с удивлением обнаружила, что в 2009 г . у меня вышла новая книга . Это было издание моей монографии 1989 г. на сербском языке . Не меньшим открытием стало, что одна сотрудница в моем департаменте опубликовала с десяток книг за последние семь лет Это были тоненькие, страниц на 40, учебники истории для средней школы (6—8 классы), но их засчитали наряду с научными монографиями
Из-за всех этих неточностей в наукометрических данных я посоветовала нашему декану не использовать их для оценки исследовательской деятельности сотрудников. Я отметила, что если данные об отдельных сотрудниках так ненадежны, то и на агрегированные данные об исследовательской продуктивности целых департаментов полагаться нельзя Ирония заключается в том, что «Научная аналитика» как раз довольно высоко оценила мой департамент — верная оценка, полученная неверным путем
Администраторы университетов, исследовательские институции и финансирующие организации нередко ценят прикладную наукометрию за объективную оценку качества, которую она, как им кажется, способна дать . Они верят утверждениям наукометрических служб, что даже если охват данных и алгоритмы их анализа небезупречны, эти недочеты работают одинаково для всех организаций и исследователей, а значит, результаты объективны . Администраторы надеются, что наукометрические данные помогут им избежать влияния предрассудков и, в частности, не отдавать предпочтение заслуженным институциям или привилегированным социальным группам, например белым мужчинам Но ведь и прикладная наукомет-
3
рия не свободна от предубеждений, просто они другого рода. Конечно же, издатели, которые сами владеют наукометрической службой, как, например, "Thomson Reuters" или "Elsevier", могут быть уверены, что их собственные публикации полностью включены в их базу данных и занимают там самые выгодные позиции . Журналы и издательские дома, чуткие к внутренней механике наукометрии, могут выстроить свою политику так, чтобы обеспечить себе хорошие наукометрические показатели, в то время как менее ушлые организации окажутся в менее благоприятной ситуации
Отдельные исследователи тоже могут добиться высоких показателей в службах прикладной наукометрии, тщательно отбирая, где им публиковаться. В "The Russian Review" стали приходить вопросы от потенциальных авторов об "Impact Quotient"1 журнала . Одна автор сказала мне, что ее организация не зачтет публикацию в журнале, если у него нет этого показателя, и по этой причине отозвала поданную статью В этом случае готовность организации довериться прикладной наукометрии ограничила исследовательницу в выборе места, где публиковаться, и за нее определила, как ей лучше найти свою целевую аудиторию . Иногда исследователи используют показатели прикладной наукометрии вместо других форм оценки качества Сотрудница моего департамента, которая опубликовала 12 книжечек для детей (см выше), попросила о повышении зарплаты на том основании, что ее продуктивность привела к повышению общего рейтинга департамента И получила бы желаемое, если бы декан был более подвержен чарам прикладной наукометрии
Ныне существующие наукометрические службы отдают весьма заметное предпочтение публикациям на английском языке и в латинской графике . Объяснить это, вероятно, можно подспудным убеждением, что англоязычные публикации больше всего читают В естественных науках это, может быть, зачастую так, но в гуманитарных и социальных — едва ли Например, труды по российской истории и литературе, изданные по-русски, доступны гораздо большему количеству читателей, чем англоязычные работы Это связано с тем, что почти все, кто читает такие научные тексты, обязательно знают русский, но вовсе необязательно — английский Коллеги, которые занимаются азиатскими культурами, жалуются, что из-за доминирования латиницы в сносках чаще используются транслитерации, а не оригинальные шрифты, и это усложняет поиск оригинальных публикаций
Показатель цитируемости научного журнала, альтернативный импакт-фактору.
4
Я бы сказала, что прикладная наукометрия — это реальность современного научного мира. В качестве инструмента создания гарантий качества она, мягко говоря, ненадежна. Существуют проблемы с неполными базами данных и алгоритмами, и отчасти они могут и должны быть решены . Если базы станут полнее, а алгоритмы лучше, то, возможно, будут получены более точные данные и, как следствие, откроются какие-нибудь значимые паттерны . Хотя по большому счету наукометрия дает статистическую информацию, а статистика имеет лишь косвенное отношение к качеству. Тем, кто принимает решения в администрациях университетов, финансирующих организациях и государственных учреждениях, нужно все время напоминать, что наукометрические показатели — это только часть полной справедливой оценки
Пер. с англ. Александры Касаткиной
ГАЛИНА ОРЛОВА
1 2
Галина Анатольевна Орлова
Национальный
исследовательский университет «Высшая школа экономики», Москва, Россия [email protected]
Контекстная реклама обещает за два месяца и скромное вознаграждение подкачать «хир-ша» до двухсот . Утро в ноутбуке начинается с расчистки почты от обещаний легких «скопусов» . За вальяжными цеховыми разговорами, которые я вести не люблю и не умею, коллеги все чаще обсуждают не позицию, полученную (не)удачливым имяреком, а правильные публикации и вхождения в базы . Один из моих недавних университетов долго сохранял нечувствительность к давлению индексов и не совершил поворота к ним в середине 2010-х, за что и был (среди прочего) не аккредитован по науке в конце 2017-го . Другой — постепенно приучал своих ППС к баллам, за десять лет превратив накопление цифр из малого пряника в большой кнут . Постепенное увеличение доли «престижного письма» в ежегодном университетском рейтинге стало частью этих изменений В результате бизнес, т е обмен производимого знания на баллы, уже нельзя было делать на студенческой науке, публикуя по разным околоткам две-три дюжины тезисов в соавторстве с курсовиками и дипломниками . В этом южном универси-
3
тете последние три года курс «первого скопуса» к «ринцам» составляет 64:1, к «вакам» — 64:8, к монографии — 64:40. Реагируя на новые приоритеты, работники умственного труда объединяют усилия и деньги двух-трех соавторов в написании статей и их переводе, ищут скромные, но пристойные «вторые квартили» по просторам Восточной Европы и от отчаянья поддаются на обещания почтовых рассылок. По экстраординарной заботе о квартилях нашего человека можно отличить от не нашего, а российскую академию — от зарубежных
И все же свою реплику я адресую не географии, а истории наукометрии И дело здесь даже не в том, что за четверть века исследовательской жизни темп, формат, тонус и градус свободы моих научных занятий вместе с волей к их измерению изменились кардинально И не в том, что все или многое из насаждаемого нам сегодня менеджерами и стратегами уже было испробовано когда-то (скажем, за год до моего рождения научная статья уже весила в 20, а монография — в три раза меньше, чем хоздоговор, распаляя страсти по индексам и выставляя напоказ дискурсивное устройство эффективности советской научно-технической деятельности эпохи внедрения результатов фундаментальных исследований в практику) [Зворыкин, Киссель 1973]. Однако я считаю нужным привлечь внимание участников обсуждения к тенденциям и контекстам, в которые можно поместить старые-новые наукометрические затеи
Постановление ЦК КПСС и СМ СССР «О мероприятиях по повышению эффективности работы научных организаций и ускорению использования в народном хозяйстве достижений науки и техники», принятое 24 сентября 1968 г , стимулировало упражнения в прикладной наукометрии и стало одним из симптомов угасания оттепельного импульса в советской науке Если в середине 1950-х создание материально-технической базы коммунизма определялось в терминах научно-технического прогресса, а доказательство советского первенства было делом риторики, то в конце 1960-х науке и технике навязали экономическую размерность вместе с сопутствующими схемами хозяйствования, управления и оценки эффективности, а приоритеты теперь было необходимо оформлять в соответствии с международными правилами — через патенты Пункт 16 Постановления предписывал оценивать результативность научных подразделений раз в три года на основе перспективности предложений, экономического эффекта разработок, новизны методов, количества проданных за рубеж лицензий и т д Распределение публикаций по рангам издательств (без детализации) замыкало список показателей [Российский государственный архив 1977] Предполагалось, что эффективные НИИ и отдельных сотрудников будут стимулировать — увели-
чат им фонды и повысят зарплату до 130—140 %, а неэффективным — урежут и понизят, а то и расформируют или сократят Расчет был сделан на перманентную мобилизацию научно-технических кадров и ослабление академических иерархий: эффективным м . н . с . и инженерам без степени обещали зарплаты, сопоставимые с доходами остепененных сотрудников или даже превышающие их, а докторов и кандидатов призывали не снижать темпов выработки интеллектуального продукта
В Обнинском филиале физико-химического института им . Карпова (своими экспериментами с наукометрическими методиками и рефлексией в отношении эффективности научно-технической деятельности химики заметно выделялись среди представителей других отраслей знания) первую аттестацию провели в начале 1970-х. Из 246 ученых и инженеров, которым повысили зарплату (всего в НИИ на тот момент работало чуть более 300 научно-технических сотрудников), 137 были м . н . с . и инженерами без степеней . Шестерых перевели на минимальную ставку оплаты труда, 19 подали апелляции Тестировали так называемую «карповскую систему», разработанную в головном институте и принятую ГК СМ СССР по труду и заработной плате за основу при аттестации научно-технических работников по всей стране Особенность этой системы заключалась в том, что эксперты переходили на личности: через многоступенчатую процедуру экспертизы оценивали не результаты работы, а достоинства работника — его / ее техническую эрудицию, организаторские навыки, умение обеспечить выполнение планов и заданий и т д Способности инженеров и навыки организаторов науки составители этого списка ставили выше талантов исследователя После перехода на новую систему стимулирования на Ученом совете филиала обсуждали болезненную тему: стоит ли рассматривать низкие баллы, полученные при аттестации, как свидетельство профнепригодности сотрудника? Релятивистскую ясность внес директор Соловьев: «Можно сказать, что в головном институте, на чей опыт мы ориентируемся, дело обстояло именно так — перевод на минимальную ставку говорил о том, что сотрудника не считают ценным работником в науке У нас это носит другой характер . Это — признание неоптимальной результативности на фоне общей результативности . Это как бы толчок к тому, чтобы в ближайшем будущем сотрудник мог исправить положение» [Российский государственный архив 1973].
В ближайшем будущем (буквально через год после выхода Постановления) в «карповском эксперименте» уже участвовало 46 московских НИИ . К началу 1970-х — шестьдесят. Соседи разрабатывали альтернативные системы оценивания Неформализованным шкалам «Карповки» противопоставили (в том
| числе в филиале) индексы, коэффициенты, баллы, которые
I должны были обеспечить объективность оценки . Следы атте-
0
Ц стации с использованием «карповской системы», все более
« формализованные, встречаются в архивах Обнинского НИФХИ
§ и в конце 1970-х, и в начале 1980-х . В 1981 г . директор головно-
1 го НИИ Яков Михайлович Колотыркин дал интервью «Московской правде» об успехе наукометрического эксперимента: объем работ института возрос в полтора раза, количество изобретений — вчетверо и т . д . [Колотыркин 2004].
Социолог Никлас Роуз показал, как научная психология, изобретая на рубеже XIX—XX вв . новые словари и квантифицируя психическое, организовывала новые области для управления модерным индивидом и устанавливала новые формы контроля над ним [Rose 1989: 120]. Стратегически сходную работу в отношении творчества ученых и инженеров на рубеже «оттепели» и застоя в СССР выполнила «прикладная» наукометрия: она создала условия для перехода от открытого научного поиска к планированию, исчислению, сравнению, формализации, наращиванию эффективности . Физики-ядерщики из обнинского Физико-энергетического института с ностальгией вспоминают времена, когда всеми планами-отчетами в институте ведал один-единственный человек, Гаврила Алексеевич Лазарев, на смену которому в конце 1960-х пришел целый отдел . Но если для одного из ядерных мемуаристов этот минимализм стал доказательством организационных талантов научного руководителя ФЭИ Лейпунского [Казачковский 2010: 336], то для другого — индикатором свободы научной деятельности1 .
Характеризуя случай советской науки и техники конца 1960-х, необходимо не только различать в наукометрии политическую технологию производства технократического индивида и управленческой возгонки научного творчества, но и соотносить начало борьбы за эффективность научно-технической деятельности с усилением партийного давления на институты, даже столь сильные и до некоторой степени автономные, какими были НИИ ядерного профиля Введение новой системы оценки эффективности в сочетании с навязыванием плановых показателей, комплексных исследований, патентования и создания инфраструктуры систематизации научно-технической информации стало одним из главных инструментов государственной научной политики, формой и поводом для регулярных административно-командных интервенций в институтскую жизнь Обнинский горком партии и первый секретарь
1 Интервью с В.В., физиком-теоретиком, сотрудником секретной Лаборатории «В» с 1952 г., заместителем научного руководителя ФЭИ в 1960-е. Записано автором 3 августа 2012 г. в Обнинске. Расшифровано Е. Проненко. 88 с. Из архива Обнинского проекта. С. 23.
4
Иван Новиков, в городе ученых и инженеров прозванный «Грозным», вмешивались в работу Ученых советов и контролировали НИИ через числовые показатели, не вдаваясь в суть научно-технических проблем
Неолиберальная наукометрия, насаждаемая командно-менед-жериальными методами в России 2010-х, обнаруживает двойное стратегическое сходство с позднесоветскими экспериментальными системами стимулирующего контроля за деятельностью ученых и инженеров С одной стороны, она отвечает на фантаз-матическое желание власти, озабоченной производством видимости достижений отечественной науки и техники в системе координат, признанной международным сообществом Только вместо патентов и лицензий сегодня гонятся за квартилями С другой стороны, она позволяет мобилизовать технократических индивидов и обеспечить систематический надзор за ними в момент, когда интервенции власти в сферу науки и образования усилились и участились Для меня, сформировавшейся в качестве исследователя в безнадзорные 1990-е, передача всех прав на научное творчество «скопусам», рейтингам и менеджерам неприемлема ни политически, ни эпистемологически Оставаясь внутри академии, я не могу не реагировать на диктат наукометрии, однако считаю жизненно необходимым оказывать сопротивление этому порядку существования В том числе — публиковаться в хороших журналах, в «скопусы» не входящих, или готовить эту реплику, индексации не подлежащую
архивные источники
Российский государственный архив в Самаре . Об итогах переаттестации научных подразделений в связи с переходом на новую систему материального стимулирования. Протоколы заседаний НТС НИФХИ . 1973 г. Ф . р-374. Оп . 5-6 . Ед . 159 . Л . 2 .
Российский государственный архив в Самаре Оценка деятельности научных работников. Протоколы заседаний НТС НИФХИ . 1977 г . Ф . р-374. Оп . 5-6 . Ед . 187 . Л . 180 .
Библиография
Зворыкин А.А., Киссель Е.И. (ред . ) . Оценка деятельности научных и инженерно-технических работников и улучшение их использования: Тезисы докл. симпозиума. М . : Б . и . , 1973 . 174 с .
Казачковский О.Д. Записки физика о войне и мире . Обнинск: ГНЦ РФ-ФЭИ, 2010 .494 с .
Колотыркин Я.М. Автобиографические записки . Избранные статьи и интервью . Воспоминания. М . : НИФХИ, 2004. 320 с .
Rose N. Individualizing Psychology // Shotter J. , Gergen K. (eds . ) . Texts of Identity. L. et al . : Sage, 1989 . P. 119-133 .
АЛЕКСЕИ ОСКОЛЬСКИИ
1
Алексей Асафьевич Оскольский
Ботанический институт им. В.Л. Комарова РАН, Санкт-Петербург, Россия / Университет Йоханнесбурга, Йоханнесбург, ЮАР [email protected]
Столкновения? Сама постановка вопроса подразумевает, что ПН — это некое зло . Я с этим категорически не согласен . ПН — важный и очень полезный компонент современной системы научной коммуникации, и, конечно же, я учитываю его в своей работе . По своей воле я уже давно не публикуюсь с журналах, не входящих в Web of Science и Scopus, так как не вижу в этом смысла . В начале исследования я не очень думаю о перспективах публикации, но, когда рукопись готова, конечно, стараюсь опубликовать ее в журнале с возможно более высоким импакт-фактором .
Хочу сразу предупредить, что, говоря о «науке», я имею в виду только естественные науки — ту сферу, в которой я работаю Я понимаю, что у гуманитарных наук есть своя специфика, которая может плохо учитываться системами ПН, «заточенными» под естествоиспытателей. Тем не менее эту специфику не стоит преувеличивать Среди моих знакомых российских гуманитариев я нередко наблюдаю какой-то иррациональный страх перед системой Scopus, не говоря уж о Web of Science, а некоторые из них даже видят в пренебрежении к ПН особую доблесть . Зря они так...
Положительные эффекты ПН очевидны:
1 . Отсекание откровенно слабых работ. Высокие наукометрические показатели вовсе не гарантируют гениальности работ данного ученого, однако позволяют весьма уверенно сказать, что он не халтурщик В моей области есть несколько сильных журналов, которые не индексируются в Web of Science, но я не знаю ни одного откровенно слабого журнала, который бы в ней индексировался
2 . Открытость для международного научного сообщества. В основе ПН лежит учет откликов ученых разных стран на публикации В России же многие ученые пишут статьи только для отчета начальству или в лучшем
случае для нескольких русскоязычных коллег, востребованность результатов для остального мира их не волнует По моим наблюдениям, такие товарищи более других недовольны наукометрией Но бюрократические требования, основанные на ПН, полезны уже тем, что заставляют этих ученых преодолевать самоизоляцию от международного сообщества, а заодно — обрабатывать и документировать полученные данные на том уровне, который принят в мире . То есть значительно более тщательно
Замечу также, что ПН позволяет оценивать достижения ученого вне связи с особенностями страны его пребывания, а значит, сильно облегчает международное сотрудничество, карьеру и перемещения по миру Когда я проходил собеседование для устройства на работу в Университет Йоханнесбурга, ни на кого не произвело впечатления то, что я доктор биологических наук: никто не знал, что это за российский зверь такой . А вот список моих публикаций рассматривался всерьез, он-то и повлиял на решение комиссии Если бы я публиковался только в российских журналах, не индексируемых в международных системах, меня бы не взяли на мою нынешнюю позицию
3 . Объективные критерии качества работ для принятия решений о финансировании научных проектов. Конечно, эти критерии несовершенны, и они должны использоваться вместе с экспертизой Ничего лучшего, однако, человечество пока не придумало . Отказ от ПН и сведение дела только к экспертизе создаст массу новых проблем . Во-первых, экспертиза может быть эффективна только в сообществе, в котором действует институт репутации В российских условиях он не работает, поэтому с большой вероятностью эксперт будет оценивать работы в интересах своего клана или заказчика (вспомним «экспертные заключения» для Роскомнадзора по поводу ЕУСПб или Ша-нинки, например) ПН все-таки сдерживает подобный произвол Во-вторых, экспертиза — это рабочее время ученого, которое может быть потрачено с большей пользой Например, я трачу на разного рода экспертизы не менее 10 % своего времени и тратить больше категорически не желаю
Замечу также, что само противопоставление ПН и экспертизы не вполне корректно, поскольку материал для ПН поставляют именно эксперты Так, рукопись принимается в журнал с высоким импакт-фактором на основании экспертного мнения рецензентов и редактора Я, будучи экспертом по моей узкой теме, нахожу интересной статью Риркт et а1 . (2017) и ссылаюсь на нее, в результате чего Вася Пупкин получает прибавку к своему индексу Хирша Так что по сути своей ПН — это лишь система для учета и обобщения экспертных оценок
2
3
4
Недостатки у ПН, конечно, тоже есть, но, на мой взгляд, они не фатальны:
1 ПН «заточена» на журнальные публикации, и монографии в ней явно недооцениваются
2 ПН неадекватно отражает ситуацию в тех областях, в которых цитирование работ слабо связано с их качеством . Примером может служить биологическая систематика . Если систематик опубликовал ревизию группы организмов (т. е. привел в порядок названия и трактовки видов, родов, семейств и т.д . ), то его, скорее всего, будут цитировать в двух случаях: либо при исправлении недостатков данной ревизии, либо при изучении разнообразия данной группы по биохимическим, генетическим, структурным, экологическим и т.д . признакам . В обоих случаях цитирование или его отсутствие никак не отражают научную значимость работы систематика
Я не знаю, что такое «журнальные и издательские критерии оценки качества публикаций» . Что касается выбора тем, то в науке действительно существуют мейнстримные и маргинальные направления, и публикации по первым позволяют получить более высокие наукометрические показатели, чем по вторым Но важно понимать, что ПН тут сугубо вторична: она лишь отражает представления научного сообщества об актуальности и перспективности тех или иных направлений Так что дело не в ПН, а в интересах ученого и его выборе
Кстати, есть расхожее заблуждение, что в журналах из Web of Science невозможно опубликовать статью, лежащую вне мейн-стрима На самом деле опубликовать ее можно спокойно, если это не откровенная халтура (я сам публиковал) Вопрос лишь в том, будет ли данная работа востребована, но ПН тут ни при чем
Во всех странах, где мне доводилось работать (ЮАР, Китай, Великобритания, Германия), ПН используется более или менее одинаково, и только в России многие ученые фрустрируют по ее поводу. Это одна из сторон самоизоляции российского научного сообщества — феномена, заслуживающего специального изучения Ничего хорошего в этом нет
Конечно, нужна, а для российской науки просто жизненно необходима! Те проблемы, которые она создает, могут решаться «в рабочем порядке», путем совершенствования системы . Кроме того, многие проблемы возникают не из-за самой ПН, а из-за неадекватной трактовки ее показателей Я бы сравнил ПН с денежным обращением в экономике . Существование денег порождает множество проблем (фальшивомонетничество, финансовые спекуляции, банковские расходы и т д ), но без них было бы гораздо хуже.
Александра пиир
Журнал — не место для дискуссий: взгляд изнутри
На мое счастье, наукометрия до сих пор не слишком вторгалась в мои научные планы и сказывалась на моих исследованиях. Да и на зарплате . В последние несколько лет в Европейском университете выдают денежные премии за публикации в хороших журналах. Но, во-первых, это поощрение, а не требование, а во-вторых, под «хорошими журналами» и понимаются именно хорошие (их определяют сами факультеты для своих областей), а не только включенные в базы Scopus или WoS . Например, в числе таковых всегда был «Антропологический форум», вошедший в Scopus лишь в прошлом году
К несчастью, того же нельзя сказать о моей работе в качестве выпускающего редактора «Антропологического форума» . Я не могу не видеть, что распространение наукометрии с каждым годом все сильнее отражается на содержании «АФ» и работе его редакции . Это влияние грозит лишить журнал главного смысла его существования, той идеи, ради которой он был когда-то создан1 .
«Антропологический форум» был задуман как журнал, который будет публиковать научные дискуссии по злободневным вопросам, исследования на острие науки, критические рецензии на актуальные книги и прочую научную полемику Название изданию и его главной рубрике подобрали соответствующее — «Форум» . Первый номер вышел в 2004 г . , и журнал сразу стал популярен Во всяком случае мы, недавние выпускники ЕУСПб, читали и перечитывали его не только ради статей блестящих ученых и острых рецензий на новые книги, но в первую очередь благодаря «Форумам» .
Александра Михайловна Пиир
Европейский университет
в Санкт-Петербурге /
Музей антропологии
и этнографии (Кунсткамера) РАН,
Санкт-Петербург,
Россия
Разумеется, какими-то наблюдениями и размышлениями на этот счет я делилась с коллегами, однако пишу сейчас только от своего имени и не представляю точку зрения редакции «АФ».
| Дважды в год редколлегия «АФ» предлагала всем желающим
I ответить на вопросы по какой-нибудь животрепещущей теме .
Ц Желающие находились во множестве, журнал, стремясь пред-
« ставить максимальный диапазон мнений, публиковал все при-
§ сланные реплики (если они соответствовали теме), поэтому по
I объему рубрика переваливала за 100—150 страниц . Мы учились
искусству дискуссии и аргументации на многочисленных семинарах в Европейском университете . Мы учились тому же, читая «АФ» . Полемика велась в «Форумах», статьях, рецензиях, обзорах конференций . В ней участвовали исследователи разного ранга, от аспирантов до известных ученых В журнале выходили отклики на опубликованные ранее статьи, противоречившие друг другу рецензии на одни и те же книги, ответы авторов критикам и т.д . Наука, которую мы стремились постичь, была восхитительно динамичной: многоликой, разноголосой и непрерывно меняющейся
Когда журналу шел пятый год, стало очевидно, что двух печатных номеров в год не хватает: принятые к публикации материалы залеживались в портфеле . Не хватало и людей . Три выпуска в год, два русских и один английский, по 400—500 страниц каждый, готовили фактически три человека: главный редактор Альберт Байбурин, редактор английской версии Ка-триона Келли и выпускающий редактор русской версии и секретарь журнала Ольга Бойцова . К тому времени у меня уже был небольшой опыт редакторской работы, и мне предложили заняться электронными выпусками и сайтом, чтобы размещать все материалы журнала в свободном доступе Почти сразу мы придумали, что в «АФ-ОпИпе» можно публиковать статьи с видео- и аудиоматериалами В то время мы вообще постоянно что-то придумывали: создавали новые рубрики, проводили опросы и мониторинги, подсчитывали рейтинги событий научной жизни . И на все хватало времени и запала . Чуть позже вместе с Марией Пироговской мы сделали на сайте «АФ» раздел «Информационные ресурсы», где были представлены музеи мира, имеющие этнографические коллекции и интернет-сайты, и перечни новых книг западных издательств по культурной, социальной и лингвистической антропологии, которые пополнялись ежемесячно . Какие-то еще были планы и идеи. но на нашем горизонте появилась наукометрия
Точнее, сначала появился перечень ВАК. И первое время никому не мешал . Наш журнал включили в него еще в 2008 г . без каких-либо усилий со стороны редакции и почти без ее участия . С одной стороны, это было неплохо: «АФ» официально признали ведущим российским журналом, гарантирующим высокий уровень публикаций, с другой — можно было ожидать наплыва статей, авторы которых торопятся с защитой и не
склонны тщательно дорабатывать свои тексты Но в итоге эта перемена мало сказалась на работе редакции Однако уже в 2009 г . , для того чтобы остаться в «ваковском» перечне (или в него попасть), научные журналы должны были зарегистрироваться в базе Российского индекса научного цитирования (РИНЦ) и загружать в Научную электронную библиотеку (НЭБ) подробную информацию обо всех выпусках1 . Это обернулось большой дополнительной работой для сотрудников редакций, но не только . От журналов потребовали готовить публикации по предписаниям, поступающим извне Нет ничего дурного в том, чтобы сопровождать статьи и другие материалы аннотациями и ключевыми словами на русском и английском или указывать аффилиацию и электронные адреса авторов (хотя авторов это не всегда радовало) . Можно опубликовать на сайте сведения о редколлегии журнала (хотя формулировка «нам прислали письмо, что нас не берут в ВАК, потому что у нас на сайте нет степеней и званий членов редколлегии», казалась смешной) Но именно тогда мы впервые столкнулись с необходимостью соответствовать не высокому научному уровню публикаций, а внешним техническим требованиям, никак на этот уровень не влиявшим
Помимо прочего, размещение данных в базе РИНЦ устроено крайне неудобно Во-первых, информацию нельзя загрузить целиком: каждая позиция вводится отдельно и вручную . Во-вторых, база избыточно и безоговорочно унифицирована Два примера
Печатные и электронные выпуски нашего журнала, чтобы различаться, имели номера 11 и 11 Online соответственно . Однако система НЭБ не позволяла ввести в строку с номером выпуска ни одну букву кроме S перед числом (для спецвыпусков) и ни один знак пунктуации Моя переписка с менеджерами заняла больше месяца и была безрезультатной: убедить их изменить непродуманно сделанную программу я не смогла, поэтому в базе РИНЦ электронные выпуски «АФ» имеют иную нумерацию, чем на сайте . Остается надеяться, что догадливый читатель сможет идентифицировать выпуск S11 как 11 Online .
Переписка по поводу второй проблемы оказалась столь же бессмысленной Система НЭБ воспринимала только кириллические и латинские шрифты Наш журнал публикует исследования с цитатами на разных языках, например на японском,
1 В ранних публикациях о РИНЦ он выглядит вполне безобидно и характеризуется как новый интересный проект, цель которого — представлять полные и объективные сведения о научных публикациях российских ученых, см. интервью с руководителями НЭБ на Полит.ру: <http://www.poHt. ru/artide/2009/01/26/rints/>.
| арабском или иврите . В тексте статьи (который теперь тоже не-
I обходимо помещать в базу) такие фрагменты приведены в ори-
0
Ц гинале и переводе, библиографические описания — в оригина-
« ле, транслитерации латиницей или кириллицей и переводе .
Л При загрузке в НЭБ все нечитаемое системой автоматически
1 превращается в ряды вопросительных знаков1 . Кажется, в последнее время шрифтов в НЭБ стало больше, но учитывая, что там размещают и лингвистические журналы, можно не сомневаться, что Российский индекс научного цитирования еще долго будет публиковать ряды вопросительных знаков
В 2014 г . жертвой ВАК стали выпуски «АФ-ОпИпе» . Вслед за «Этнографическим обозрением» мы считали «ваковскими» обе версии журнала, печатную и электронную Некоторые рубрики в них совпадали, другие нет, но со всеми публикациями мы работали одинаково, все статьи проходили рецензирование, все материалы загружались в РИНЦ . Иногда наши авторы, готовясь к защите, просили дать им письменное подтверждение, что публикация в «АФ-ОпИпе» приравнивается к таковой в печатных выпусках, т е считается «ваковской» И мы давали его без тени сомнения: для нас это был один журнал, с едиными редколлегией и редакцией, равно отвечавшими за качество выходивших номеров, как печатных, так и электронных Диссертационные советы статьи в «АФ-ОпИпе» в то время принимали, во всяком случае мне неизвестно, чтобы какая-то из них была признана негодной для защиты
В конце 2013 г . появился проект нового положения о перечне ВАК, которое устанавливало обязательную периодичность не менее четырех раз в год и специально оговаривало, что «[дополнительные выпуски издания, приложения, электронные версии не считаются включенными в перечень» В ответ главные редакторы нескольких научных журналов написали коллективное письмо в ВАК с просьбой отменить эти требования Но в следующем году положение было принято, и нам пришлось отказаться от «АФ-ОпИпе» . Вероятно, в сравнении с другими журналами мы оказались в лучшем положении: у «АФ» уже выходило четыре номера в год, оставалось перевести два электронных в печатный формат Но и это влекло за собой существенные изменения. Во-первых, в печатных выпусках нельзя публиковать аудио- и видеоматериалы Мы придумали, что их можно выкладывать на сайте, в печатный текст вставлять QR-коды, а для чтения использовать гаджеты .
1 Для примера отсылаю читателей к статье Надежды Майковой о ткацких устройствах Японии, вышедшей в «АФ» в 2013 г. в выпуске № 18 Online (в базе РИНЦ ее нужно искать в номере S18): в контекстах списка цитируемой литературы вместо японского шрифта идут строчки вопросительных знаков.
Но, вероятно, само существование «АФ-ОпИпе» подталкивало авторов присылать нам такие материалы, потому что после его закрытия мы перестали их получать Во-вторых, электронные выпуски не были ограничены по объему: в них принимали статьи до двух авторских листов, а иногда и больше, там выходили полные материалы разных опросов и мониторингов, публикации могли включать множество иллюстраций, в том числе цветных, и т . д . От части рубрик нам пришлось отказаться, объем статей и выпусков урезать, как и число иллюстраций, которые сильно удорожали печать . Наконец, «АФ-ОпИпе» выходил быстрее и позволял публиковать информацию о событиях научной жизни, обзоры и опросы по горячим следам Печатные выпуски шли через типографию и в сравнении с электронными опаздывали на два-три месяца .
Была и другая возможность, которую мы обсуждали, — журнал можно было перевести полностью в формат онлайн . Но в этом случае его пришлось бы регистрировать как новое интернет-издание в Роскомнадзоре и базе РИНЦ, а после выхода восьми номеров добиваться включения в перечень ВАК. Этот процесс требовал больших усилий, чем переход в печатный формат, занял бы не меньше двух лет, и на это время наши авторы оставались без «ваковских» и «ринцевских» публикаций (а мы рисковали остаться без их статей) В итоге мы выполнили, как нам казалось, все существенные требования ВАК и подали заявку на включение «АФ» в новый перечень В тот раз его формировали особенно долго и за это время успели изменить правила В результате оказалось, что наша заявка им не соответствует из-за мелких формальностей, появившихся позднее1 . Разумеется, редакция в очередной раз все исправила . Мы уже начинали привыкать к жизни по указке — злились, но почти не удивлялись Однако всем было очевидно, что силы и время, которые должны уходить на работу с авторами, подготовку выпусков и собственные исследования, расходуются впустую — на формальности, не имеющие отношения к качеству журнала В редакции «АФ» к этому времени работало не трое, как вначале, а восемь человек . И мы едва успевали готовить пять выпусков в год, общий объем которых вряд ли превышал объем трех, выходивших прежде
Но был один выход . В приказе ВАК говорилось, что «достаточным условием для включения издания в перечень является его
Не доставало официального подтверждения, что последние два года мы отправляли экземпляры журнала в ИТАР-ТАСС (мы это, конечно, делали). Мы не написали в заявлении, что вышлем Министерству образования копии внешних рецензий на статьи, если оно их попросит. Аннотации и ключевые слова к статьям на нашем сайте были выложены не все вместе на одной странице, а на под-страничках к каждому выпуску. Остальные претензии были столь же «существенными».
I вхождение хотя бы в одну из систем цитирования — Web of
I Science и Scopus» . Бесконечно менявшиеся и множившиеся
0
Ц требования ВАК могли быть сняты, как нам тогда казалось, до-
Is вольно просто: если «АФ» войдет в Scopus, никто ему будет не
§ указ . Конечно, это был не единственный стимул . Помимо пре-
1 стижа, попадание в западные базы вело к расширению круга авторов и читателей, увеличению потока статей, их большему разнообразию и давало лучшие возможности отбора Войти в Scopus и WoS нас подталкивали оба учредителя «АФ», Европейский университет и (особенно) Кунсткамера, которым издание журнала обходится недешево, учитывая большое число переводов и свободный доступ ко всем материалам . Но главное, от ученых все чаще требовали отчитываться статьями, индексированными в западных базах, все больше хороших статей уходило в другие журналы . И мы решили попытать счастья еще с одной наукометрической системой .
Невозможно представить, чтобы в нулевые годы редакция «АФ» согласилась тратить неимоверные силы и время на выполнение множества нелепых требований с целью обеспечить журналу большие известность и престиж . Такой цели у нас никогда не было, но, как и многие другие, мы постепенно запутывались в сетях наукометрии Пытаясь выскользнуть из-под гнета перечня ВАК, «АФ» неминуемо попадал под другой . Когда мы первый раз читали 68 страниц методических рекомендаций ВИНИТИ для научных журналов, желающих войти в зарубежные индексы цитирования, объем предстоящей работы казался большим, но не абсурдным Только после ее завершения стало понятно, насколько изменились журнал и сайт Нам пришлось позаботиться даже о том, чтобы ни в выпусках, ни в сети не было ничего «лишнего» . В рекомендациях ВИНИТИ говорилось, что журналы, в которых статьи занимают меньше 60—70 % всех публикаций, имеют мало шансов. В выпусках с «Форумами» (т . е . в каждом втором) объем статей едва дотягивал до половины, но отказаться от главной рубрики и подробных рецензий мы не хотели . Другие материалы тоже не отклоняли, но намеренно уже не привлекали, и в результате во всех последних выпусках «АФ» (кроме одного) есть только «Форумы», статьи и рецензии . Сайт журнала пришлось кардинально переделать: он стал полностью двуязычным, с простой навигацией, и места «Информационным ресурсам» не осталось . Да и запала уже не было находить и выкладывать новые книги зарубежных издательств Нет и прежней возможности долго и обстоятельно обсуждать с авторами редактуру их статей . Большие английские блоки с повторными библиографиями к каждой публикации отнимают время авторов и редакторов и занимают место, где можно было опубликовать что-то дру-
гое В прошлом году наш журнал вошел в Scopus, мы надеемся в скором времени попасть в WoS . Но ни одно из изменений в «АФ», связанных с индексами цитирования и требованиями ВАК, не послужило тому, чтобы он стал содержательно лучше . Пока что мы стараемся нейтрализовать их влияние, чтобы он не стал хуже Но не все зависит от нас
К сожалению или к счастью, журналы в не меньшей степени, чем от редакторов и издателей, зависят от авторов и обстоятельств, в которых те работают С одной стороны, это неплохо: хочешь не хочешь, журналу приходится идти в ногу со временем . Но с другой... Лет семь назад мы стали замечать, что коллеги с меньшей готовностью, чем прежде, отзываются на приглашение принять участие в том или ином обсуждении в «АФ» Сначала это касалось только мониторингов и опросов, но постепенно дошло и до «Форумов»: число присылаемых ответов сократилось примерно вдвое Все эти годы наука, российская во всяком случае, стремительно прагматизировалась . Рост отчетности в институтах и распространение работы по грантам провоцировали ученых тратить свое время преимущественно на то, что можно использовать в отчетах Если фонд требует публикацию в базе РИНЦ, приходится писать то, что в нее попадет Если институт выплачивает премии за публикации, индексированные в WoS, статьи отправляют в издания, которые туда включены При оценке качества книг и статей, уровня журналов, работы институтов и достижений исследователей все чаще используются индексы
Последние годы авторы реплик в раздел «Форум» регулярно просят размещать их в РИНЦ как отдельные публикации или загружают их самостоятельно, и какое-то время их тексты фигурируют на странице журнала параллельно с общим разделом Даже понимая, чем вызваны эти просьбы, мы неизменно в них отказываем Ответы в «Форум» не отбираются (за исключением несоответствия теме) и содержательно не редактируются, журнал не несет ответственности за их научный уровень, а значит, они не могут быть приравнены к статьям, рецензиям, обзорам и т . п . То же относится к любым дискуссиям в «АФ»: все они размещаются в базе РИНЦ целиком, а в Scopus и WoS не попадают вовсе Польза от участия в наших обсуждениях по-прежнему только научная — для того они и были задуманы Поступиться главной идеей журнала мы пока не готовы, хотя с точки зрения наукометрии «АФ» от этого очевидно проигрывает. Чтобы повысить индекс цитирования, изданию выгодно публиковать то, на что чаще ссылаются, т е главным образом статьи, и по возможности на такие темы, которые сегодня наиболее популярны Включение большого числа других материалов грозит снижением индекса цитирования журнала, а если
= оно станет критическим, то и исключением из западных науко-
I метрических систем (после всех усилий, приложенных для
Ц того, чтобы туда попасть) .
X
1 Несомненно, с каких-то позиций распространение наукомет-
| рии оправданно и полезно . Но мой редакторский опыт гово-
,11 рит, что для научных дискуссий, обмена мнениями и полезной
информацией на страницах и сайтах журналов она гибельна Как и для изданий, ориентированных на научную полемику Научные журналы поневоле превращаются в места отчетности, а не дискуссий . И «упертость» редакции «АФ» начинает смахивать то ли на донкихотство, то ли на отставание от актуальной научной жизни Однако если однажды мы сдадимся, останется ли наш журнал прежним «Антропологическим форумом» и будет ли нам все так же интересно в нем работать?
АльмирА УСмАноВА
1
Альмира Усманова
Европейский гуманитарный университет, Вильнюс, Литва [email protected]
Прежде всего стоит сделать несколько предварительных ремарок. Во-первых, хорошо известно, что ПН имеет разные эффекты в естественно-научных и социогуманитар-ных дисциплинах. Я могу судить лишь о том, что происходит в области социогума-нитарного знания Во-вторых, я отдаю себе отчет в локальной ограниченности моего горизонта знания в отношении механизмов внедрения, распространения и использования ПН: моя позиция — это точка зрения исследователя, работающего уже много лет в пространстве in-between — между Литвой и Беларусью, между европейским академическим пространством и постсоветским (здесь имеют значение как фактор поли-язычия, так и институциональные различия в менеджменте сферы высшего образования и науки) . Дело в том, что Европейский гуманитарный университет, в котором я работаю, в силу политических обстоятельств был вынужден «переместиться» из Минска в Вильнюс и с 2005 г . функционирует в Литве как частный литовский вуз . Это странное состояние «вненаходимости» и трансгра-ничности в условиях работы на две страны создает много сложностей для нас, но имеет
и свои эвристические преимущества: в этом положении можно заметить и проанализировать некоторые процессы, которые в «центрах», обладающих если не привилегией, то во всяком случае амбициями, касающимися производства знания, совершенно не ощутимы (и я бы сказала, просто не важны) .
Интересно, что как плюсы, так и минусы ПН были вполне очевидны еще до наступления эпохи всеобщей интернетизации, в том числе применительно к восточноевропейскому (постсоциалистическому) академическому контексту. Внедрение ПН для оценивания научной деятельности (evaluation) рассматривалось как жизненно необходимая мера для создания новой институциональной основы для исследований и реализации научных разработок . Практика peer reviewing воплощала радикальный разрыв с централизованным финансированием и методами управления, характерными для управления наукой при социализме В системе, основанной на экспертной оценке, финансовые ресурсы должны распределяться на условиях открытого конкурса, в соответствии с более или менее четко определенными критериями и систематическими процедурами, которые являются одинаковыми для всех. Более того, использование ПН в качестве объективной системы оценивания, наряду с институтом внешней экспертизы, в 1990-х гг. рассматривалось не просто как вопрос изменения процедур администрирования в сфере науки и образования, но как «часть более широкой трансформации социальной структуры научных исследований в регионе» [Frankel, Cave 1997].
Мне кажется важным отметить, что отношение к ПН и степень включенности постсоветских гуманитариев в новый мировой академический порядок несомненно имеют ярко выраженные поколенческие отличия: для университетских преподавателей, чья академическая карьера началась в конце советской эпохи или пришлась на 1990-е, ПН — это не просто вызов, повлекший за собой утрату прежних авторитетов и разрушение символического капитала (как собственного, так и научных руководителей или коллег по цеху, чей «индекс цитируемости» в итоге оказывается близким к нулю), но и в какой-то степени подрыв всех традиционных оснований академической жизни (зависевшей ранее почти целиком от определяемой государством / политическим режимом «повестки дня» и от внутри-институциональных диспозиций, а не от внешних сил и уж тем более не от машинно-квантифицируемых показателей) .
Между тем для молодых (начинающих) исследователей — аспирантов или тех, кто недавно защитился (тем более если речь идет об инициации в западных университетах), ПН — это своего рода непререкаемая норма, естественное положение
I дел, status quo, который непреложно действует и с которым не-
I обходимо считаться, если речь идет об академической карьере
Ц и возможности получения преподавательского контракта (не-
« важно где — в Нью-Йорке, Берлине или Тюмени) . Более того,
§ для молодых, но остепененных исследователей ПН означает
I совершенно определенные вещи: это и степень свободы от
внутриинституциональных зависимостей (если речь идет о получении контрактов в российских вузах, при перемещении из периферии в центр или из России на Запад), и право на интеллектуальную автономию, коль скоро внешнее финансирование (особенно когда дело касается таких исследовательских возможностей, как Horizons, ESF, HERA, etc . ) зависит не столько от внутриуниверситетских иерархий (хотя это имеет значение при оформлении заявки и получении необходимых штампов и подписей), сколько от исследовательской репутации и включенности ученых в международные сети
Говоря о положительных эффектах ПН, помимо того что ее внедрение предполагает утверждение принципа меритократии в университетской жизни и ставит под вопрос традиционные статусы и иерархии, я бы еще отметила значение ПН для индивидуальных исследователей: благодаря электронным научным базам данных, поисковым системам и таким сетевым платформам, как Academia, edu или ResearchGate, мы получаем доступ к огромным ресурсам, значительно облегчающим нашу профессиональную деятельность и научные исследования, а кроме того, можем оценить степень собственной эффективности и конкурентоспособности, узнать, кто нас читает и кто нас цитирует, а также понять, как наши публикации соотносятся с работой других исследователей. Индекс цитируемости все-таки свидетельствует о некоторой универсальности, полезности и конвертируемости того знания, которое представлено в наших текстах . Это огромный плюс .
Другим плюсом я бы назвала приближение конца эпохи «тезисов»: в списках публикаций многих преподавателей, работающих в постсоветских университетах, до сих пор значительное место занимают именно «тезисы», опубликованные в сборниках с материалами конференций . Мне всегда казалось странным, как могут тезисы (по сути представляющие собой развернутые abstracts) считаться полноценными авторскими публикациями (к тому же именно в тезисах чаще всего можно обнаружить плагиат)
Что касается негативных аспектов, здесь существует множество подводных камней Парадоксальным образом гегельянский закон перехода количественных изменений в качественные стал основой менеджериалистского подхода к образова-
2
нию — качество работы академиков должно быть не только видимым, но и исчислимым . Соответственно, основная проблема, на мой взгляд, состоит в том, как ПН используется администраторами от науки и какие новые механизмы подчинения, формы административного произвола и интенсификации академического труда она производит или усиливает .
Другая проблема состоит в том, что количественные показатели не связаны напрямую с качеством, если это слово тут вообще уместно (особенно по отношению к гуманитаристике) . Еще в 1970-е гг. , когда только началась работа по созданию глобальных библиометрических баз данных, исследователи обращали внимание на то, что количественные показатели являются значимыми показателями «продуктивности» ученых, но не очень помогают в определении качества и значения публикаций, хотя и было доказано, что существует корреляция между количеством цитирований и другими показателями эффективности, такими как профессиональные награды, звания и премии, включая Нобелевскую [Cole, Cole 1973].
Кроме того, еще тридцать лет назад высказывались опасения, что растущая зависимость от количественных показателей для оценки эффективности работы может привести к тому, что ученые будут вынуждены приспосабливаться к этому требованию ("to adjust their publishing behavior"), что может вызвать увеличение количества краткосрочных исследований и фрагментацию публикаций в ущерб более длительным исследованиям и написанию монографий, а также это может сказаться на научной этике [Frankel, Cave 1997: 5]. Здесь я хотела бы добавить, что, конечно, «машина» в состоянии распознать случаи плагиата и разоблачить практики самоцитирования, но ведь не секрет, что в условиях диктата ПН в российских вузах (и, наверное, не только в России) почти повсеместно действует неписаное правило цитировать только что вышедшие статьи коллег, с надеждой на «взаимность», чтобы увеличить показатели цитируемости друг друга Как это связано с научной ценностью публикации — остается только гадать
Включение того или иного журнала в международные базы данных в качестве необходимых условий предполагает регулярность выхода номеров и обязательное рецензирование (peer review) — все это дисциплинирует и мотивирует и авторов, и редакторов журналов Кроме того, необходимость использования единообразных правил оформления (библиография, abstract, ключевые слова и т.д . ) также имеет множество преимуществ, влияющих на повышение импакт-фактора журнала, начиная от повышения видимости авторов, статей, журналов в глобальной сети и базах данных и переходя к тому, что пра-
I вильная транслитерация имен облегчает автоматическую иден-
I тификацию авторов (что, в свою очередь, хорошо с точки зре-
Ц ния повышения индекса цитируемости) .
X
1 Понятно, что большинство академических журналов в наших
| странах стремятся войти в самые престижные базы данных
,11 типа Scopus или WoS, а ведь еще десять лет назад это не было
императивом, достаточно было входить в одну из тематически, профессионально важных баз данных типа EBSCO или Philosophy Index, но если учесть, что по мере разбухания этих баз данных начинает усиливаться внутренняя дифференциация (разделение на квартили), зависящая от импакт-фактора журнала, то становится понятным, что на данном этапе разворачивается конкуренция между журналами за вхождение в Q1 . Но у журналов, выходящих, например, на русском языке, шансов на то, чтобы войти в этот элитный клуб, практически нет
Мне кажется досадным и то, что публикации на французском, немецком, итальянском, польском и других европейских языках также оказываются не важны / не нужны (хотя отдельные издания также входят в Q1—Q2) . Нетрудно заметить, что по-лиязычие в современных подсчетах научной эффективности не приветствуется . Все ровно наоборот . Как отмечает Андрей Ранчин, «основные международные индексы, такие как Web of Science / Web of Knowledge или Scopus, ориентированы полностью или преимущественно на англоязычные издания (публикации на русском языке либо не учитываются вообще, либо учитываются крайне скупо1); в основных индексах фиксируются публикации в журналах, но не отражены случаи цитирования в монографиях и сборниках статей, хотя ссылки в монографиях, имеющих концептуальный характер, несомненно ценнее статейных . Web of Science очень неполно отражает исследования в области гуманитарных дисциплин — все то, что в англосаксонской традиции относится к Humanities или Liberal Arts . Многих лучших, признанных журналов по этим областям знания в списке индекса просто нет . <...> Российские гуманитарные науки приговорены этим рейтингом к небытию: и филология, и штудии по истории России, и философские сочинения, и труды по истории русской культуры» [Ранчин 2013].
В этой связи, возвращаясь к вопросу о квартилях, можно сказать, что, к примеру, известный и признанный в постсоветском академическом пространстве философско-культурологиче-ский журнал «Логос» вряд ли сможет подняться выше третьего
1 Будем надеяться на то, что сотрудничество РИНЦ с WoS и Scopus изменит эту ситуацию к лучшему.
квартиля (сейчас он в четвертом) именно по той причине, что это не англоязычный журнал . К тому же одним из невидимых, но важных фильтров для формирования, например, индекса Хирша в Scopus или WoS является учет публикаций, процитировавших ту или иную статью, только из числа изданий, входящих в те же Scopus и WoS!
Для исследователей в постсоветских странах эта ситуация означает следующее . Во-первых, ради экономии собственного исследовательского времени и повышения показателей эффективности авторы заинтересованы в том, чтобы отправить свою статью в журнал с высоким импакт-фактором В отдельных случаях факт публикации в таких журналах может приносить и экономические дивиденды преподавателям1 . Соответственно, каждому из нас теперь приходится принимать решение — откликнуться ли на приглашение какого-либо журнала или коллективного сборника по результатам конференции, а тем более — браться ли за подготовку тематического номера в качестве редактора и тратить на это время, если заранее известно, что такого рода публикация статьи или редактируемого номера журнала не имеет смысла с точки зрения улучшения своих наукометрических показателей . Во-вторых, складывается парадоксальная ситуация: нас принуждают к повышению публикационной активности именно для повышения этих показателей, но вообще говоря, подготовка статьи на английском языке (ее редактирование, оформление) существенно увеличивает затраты времени на работу с текстом (особенно с учетом длительности процесса рецензирования, тем более если в одном издании статья будет отклонена и придется «перебрасывать» ее в другой журнал, а дальше — проходить все сначала)
Далее, несмотря на то что в каждом университете есть свои журналы (а некоторые, например российский «Вестник Санкт-Петербургского университета» (Q3) или литовский "Logos" (Q2), даже занимают неплохие позиции среди топ-журналов), нынешняя система поощряет к публикации во внешних журналах. В Литве, например, вовсе не приветствуется, если преподаватель публикуется в журнале, аффилированном с университетом, в котором работает, или издает книгу в своем же университетском издательстве
Например, на сайте Высшей школы экономики связь между публикациями в журналах с высоким импакт-фактором и уровнем надбавок прописана совершенно недвусмысленно: «При принятии решения о назначении надбавки ВШЭ за статью в зарубежном рецензируемом журнале учитываются т.н. квартили, в которые попадает журнал по двум основным библиометрическим показателям: импакт-фактору Journal Citation Reports (Impact Factor, IF) в базе данных Web of Science и рангу SCImago (SCImago Journal Rank, SJR), рассчитываемому на основе базы данных Scopus» <https:// cs.hse.ru/tmsyst/quarti1es>.
| Необходимость принятия личного решения в пользу того или
I иного издания или языка — это выбор, который приходится
Ц делать постоянно не только мне, но и многим коллегам в дру-
« гих постсоветских странах, где русский если и не является од-
§ ним из государственных языков, то в любом случае остается
I или родным, или конвенционально используемым и значи-
мым в разных контекстах (особенно с учетом объема книжно-журнального рынка и размера читательской аудитории) . При этом мы очень хорошо понимаем, что, во-первых, публикуясь в русскоязычных журналах, мы взаимодействуем с близким нам академическим сообществом . Во-вторых, текст, опубликованный на русском языке в престижном российском журнале или издательстве, имеет больше пользы для автора с точки зрения повышения его / ее индекса цитируемости, чем текст, опубликованный, например, на литовском или белорусском языках, но в условиях того академического пространства, в котором мы работаем (Литва, ЕС), это практически не учитывается и даже, я бы сказала, рассматривается как минус В-третьих, публикуясь на белорусском и/или в белорусско-язычных изданиях, мы совершенно точно оказываемся невидимыми как для глобальных наукометрических баз данных, так и для постсоветского академического сообщества (публикации на белорусском языке могут заинтересовать только белорусских исследователей или ученых, которые занимаются белорусской тематикой) Причем на обочине глобальных академических процессов оказывается прежде всего социо-гуманитарное знание в Беларуси (у физиков или медиков дела обстоят иначе1) .
Преподаватели моего университета (ЕГУ) оказываются невидимыми «дважды», поскольку наши публикации или издания (включая журналы), публикуемые в ЕГУ или от имени ЕГУ на русском или белорусском, не учитываются ни в Беларуси, ни в России (достаточно заглянуть в РИНЦ) . Выходит, что мы обязаны публиковаться преимущественно на английском, как для того, чтобы соответствовать существующим в Литве квалификационным стандартам, так и для того, чтобы быть видимыми и в локальном контексте (будь то Беларусь, Литва или Россия), и в глобальном
1 «Вполне понятно, что статьи по гуманитарным наукам, например по исторической тематике, написанные, как правило, на основе национальных материалов, не могут вызывать такой же международный интерес, как, допустим, публикации по физико-техническим наукам, и соответственно вероятность отражения этих работ в зарубежных индексах цитирования, на наш взгляд, невелика. Поиск по базам данных "Social Sciences Citation Index" и "Arts&Humanities Citation Index" выявил за период с 1975 по 2008 г. только 301 публикацию, имеющую отношение к Беларуси» [Березкина, Сикорская, Хренова 2011: 20]. О состоянии ПН в области медицинских наук в Беларуси см. более подробно: [Шарабчиев 2013].
3
Очевидно, различия существуют . На уровне национальной образовательной политики в любом из наших государств происходит определенная корректировка институциональных требований и механизмов учета наукометрических показателей В Беларуси, насколько мне известно, наукометрические показатели используются при аттестации научных и преподавательских кадров, оценке результативности научной деятельности и принятии решений о финансировании исследовательских проектов . Я, правда, думаю, что в основном это касается научно-исследовательских институтов (Академия наук РБ) . Более того, оказывается, еще в 2010 г . НАН РБ проводила конкурс с целью поощрения научной активности ученых, по итогам которого «были вручены три премии в номинации "самый цитируемый автор" (данные были подготовлены сотрудниками ЦНБ НАН Беларуси)» [Березкина, Сикорская, Хренова 2011: 21]. Как это коснулось вузов, мне трудно судить . При этом стоит отметить, что Беларусь ориентируется на российскую электронную библиотеку elibrary . (В 2012 г . было подписано соглашение «о сотрудничестве по отражению научных изданий Республики Беларусь в БД "РИНЦ" между НАН Беларуси и Научной библиотекой elibrary. ru» [Анохин 2015: 51]1 . )
Как уже было отмечено выше, в 1990-е гг . вопрос о целесообразности и перспективах использовании наукометрических показателей в странах Восточной Европы обсуждался в тесной связи с необходимостью тотальной ревизии и (пере)оценки состояния научных исследований в регионе (после коллапса социализма, в контексте трансформации университетов и сокращения бюджета на образование и науку) Среди множества скептических мнений, касавшихся негативных последствий применения наукометрических показателей, звучали и вполне оптимистичные утверждения, что возможность использования количественных показателей может быть очень привлекательной, особенно для малых стран [Frankel, Cave 1997: 5].
Что мы можем наблюдать спустя двадцать лет? Литва и в целом страны Балтии имеют очень хорошие показатели по ПН: согласно данным 2015 г . [Meester 2015], в Scopus входило 67 журналов2, при этом 79 % литовских ученых публикуются в между-
По состоянию на 2015 г. «в данном индексе было представлено более 7 тыс. белорусских авторов, из них в системе Science Index — около 1000. По итогам проведенного анализа в июне 2014 г. в БД elibrary.ru насчитывалось 47 377 наименований журналов, из них массив из 187 белорусских научных журналов включал 34 667 статей» [Анохин 2015: 51].
Для сравнения: Беларусь, которая по численности населения больше Литвы в 3,5 раза, с общим количеством вузов свыше 50 представлена в Scopus 39 журналами (из них по состоянию на 2015 г. индексировался только один вузовский журнал — «Новости хирургии», который издавался Витебским государственным медицинским университетом). И, конечно же, в числе журналов, лидирующих по показателям цитируемости, изданий социально-гуманитарной направленности нет.
I народных журналах (в литовских — 21 %), и что особенно важ-
I но отметить, 92 % публикаций от общего числа (за 2010—2014 гг. )
Ц выходили на английском языке . О чем говорят эти показатели?
X
1 Следует отметить, что в Литве английский язык уже давно стал
| lingua franca, причем не только для исследователей, но и для
,11 чиновников . Даже те, у кого первый иностранный язык фран-
цузский или немецкий, чаще всего владеют английским и широко используют его в профессиональной коммуникации Действительно, для ученых из малых стран, входящих в ЕС, единственный способ быть видимыми, подтверждать свою научную квалификацию и получать признание — это публиковаться на английском в престижных журналах и издательствах . Соответственно национальные научные советы, министерства образования и университеты в этих странах ориентируются в своей политике именно на эти международные стандарты . Иначе говоря, наукометрические показатели используются в качестве регуляторов оценивания научной эффективности как индивидуальных исследователей, так и университетов в целом1, что, в свою очередь, сказывается на регистрации / аккредитации образовательных программ и аттестации преподавателей, занимающих должности профессоров и доцентов .
Но у этой радужной картины есть и другая сторона, которая становится видимой на уровне государственной политики в сфере науки и образования. Так, согласно тем же данным 2015 г. , лишь 14 % от общего числа публикаций литовских исследователей, входивших в Scopus, подготовлены на литовском языке . Разумеется, уменьшение количества публикаций на родном языке в Литве во многом обусловлено именно ужесточением требований к статусу и уровню публикаций (английский язык, международно признанные издательства, международное сотрудничество в сфере науки, публикация в журналах, входящих в Scopus и WoS и т .д . ) Неудивительно, что в последние годы отчетливо проявилась тенденция «массовой» переориентации литовских авторов на англоязычные издания (такая же проблема существует и в других малых странах Восточной Европы) Иначе говоря, в перспективе (по мере того как произойдет смена поколений ученых) судьба литовского языка как языка академической коммуникации, а вместе с ней и выживание научных журналов в области социальных и гуманитарных наук, локальных издательств и т д могут оказаться под
Как отмечает А. Анохин, по количеству цитирований лидируют «Журнал прикладной спектроскопии», «Инженерно-физический журнал» и «Трение и износ» [Анохин 2015]. В Литве мониторингом и оцениванием эффективности научных исследований занимается специально созданное агентство MOSTA — Research and Higher Education Monitoring and Analysis Centre <https://www.mosta.Lt/en/about-us/about-us>.
большим вопросом . Поэтому в 2012 г . Научный Совет Литвы принял специальную программу на 2012—2020 гг . , нацеленную на поддержку и развитие литуанистики как особого приоритета для научных исследований в Литве1, с тем чтобы упреждающим образом повлиять на проблему «невидимости» литовского языка и литовскоязычных публикаций во внешнем мире и одновременно (посредством грантовой политики) поднять престиж исследований литовской культуры и истории и публикаций на литовском языке .
К слову, для Беларуси и России такая степень включенности исследователей в международное академическое пространство (как в смысле использования английского языка в качестве основного для академических публикаций, так и с точки зрения быстрого перестраивания на «скопусовские» стандарты) почти непредставима, даже с учетом смены поколений. Русскоязычное академическое пространство (включая страны, возникшие на руинах советской системы), особенно с развитием РИНЦ и налаживанием сотрудничества с международными базами данных (Russian Science Citation Index), вместе с разветвленной институциональной сетью (университеты, академические институты, журналы) и огромной русскоязычной академической аудиторией (студенты, преподаватели и т д ) выглядит вполне автономным (или самодостаточным) . Поэтому стимулы повсеместного перехода на английский язык здесь не работают
Впрочем, следует иметь в виду и особенности национальной политики в России, принявшей в 2012 г государственную программу поддержки крупнейших российских университетов (так называемый Проект 5-1002) . В этой программе четко сформулированы ключевые показатели эффективности вузов, включая повышение индекса цитирования научных статей университетских преподавателей и сотрудников Не думаю, что в этой сфере удастся «догнать и перегнать Америку», но очевидно, что эта программа действительно заработала3 .
Следует признать, что погоня за индексом цитируемости, в которой мы все участвуем, это, с одной стороны, признание
С документом на английском языке можно ознакомиться здесь: <https://www.1mt.lt/en/docLib/ujv 8xc7kauxwnnp3e6r7dw5dxwqdy6hq>.
Речь идет об указе Российского правительства от 7 мая 2012 г. «О мерах по реализации государственной политики в области образования и науки». Цель программы, как утверждается в указе, заключается в повышении престижности российского высшего образования и выведении не менее пяти университетов в сотню лучших вузов в трех авторитетных мировых рейтингах: Quacquarelli Symonds, Times Higher Education и Academic Ranking of World Universities.
В одной статье, датируемой 2013 г., утверждалось, что за прошедшие с момента принятия программы два года число публикаций в международных базах данных Web of Science и Scopus выросло более чем в два раза, а показатель цитируемости поднялся примерно на 160 %.
4
факта неоколониальной зависимости постсоветских гуманитариев в глобальной системе производства знания, а с другой — свидетельство необратимости (и эффективности) утверждения менеджериализма в академической сфере . И если Россия в силу имеющихся финансовых и человеческих ресурсов в состоянии создать собственную систему индекса цитируемости для российских авторов (еще в 2005 г . то что делать другим постсоветским странам, таким как Беларусь или, например, Украина, особенно в ситуации лингвистического плюрализма (когда даже разница в используемом алфавите порождает множество проблем)? В этой связи стоило бы упомянуть такую инициативу, как ЕРИНЦ (Евразийский региональный индекс научного цитирования), нацеленную на углубление наукометрической кооперации стран, входящих в ЕАЭС (Армения, Беларусь, Казахстан, Россия) . Характерно, что авторы этой инициативы отмечают, что «отдельно каждой стране в одиночку пройти тот путь, который прошла Россия при ассоциации с WOS, практически невозможно»2 .
Вряд ли стоит задаваться вопросом о необходимости того, что уже давно существует и утвердилось в качестве действенного инструмента регулирования всех сфер академической жизни, образования и науки (идет ли речь о рейтингах университетов, регистрации / аккредитации образовательных программ, механизмах и критериях получения грантов на научную деятельность, аттестации и финансовом стимулировании преподавателей — список можно продолжать) . Формировавшиеся на протяжении десятилетий и теперь уже утвердившиеся в постсоветской академии «правила игры» могут быть не вполне справедливы в разных смыслах или малочувствительны к локальным обстоятельствам (о чем шла речь выше), но они достаточно прозрачны и по-своему эффективны Исследователям понятно, как нужно выстраивать свою научную карьеру, чтобы не оказаться в зоне наукометрической невидимости, а администраторам удобно использовать квантифицируемые показатели для внутриинституциональной селекции и стратификации Но вопрос о том, как эти правила игры должны применяться в постсоветских университетах, особенно когда речь идет о малых странах или провинциальных университетах, имеющих скромное финансирование и не имеющих возможности повысить свой рейтинг, — это проблема, у которой нет решения Или точнее, здесь можно говорить лишь о пессимистичных сценариях: сокращение преподавателей, урезание
О коллизиях, которые возникают в связи с подсчетами по системе РИНЦ индекса Хирша, см. более
подробно: [Болотов и др. 2014].
<http://csiam.sci.am/media/pdfs/34_8905.pdf>.
финансирования, угасание журналов, слияние университетов и т.д .
То, что не может не беспокоить, — это влияние ПН на развитие гуманитарных наук, где количественные критерии вообще не уместны, тем более что именно гуманитарное знание в наибольшей степени зависит от лингвистического фактора . В контексте сокращения финансирования на гуманитарные науки (будь то философия, филология и т .д . ) применение наукометрических показателей в качестве гарантии «объективности» при определении тех, кому стоит предоставить доступ к ресурсам, а кому нет, может иметь весьма печальные последствия
В заключение хотелось бы еще добавить небольшой комментарий на тему «конспирологической теории», упомянутой в анонсе этой рубрики . Разумеется, речь не идет о «примитивном заговоре» с целью выманить у ученых деньги . Но не стоит забывать о том, что ПН сегодня — это огромный бизнес . Достаточно вспомнить об истории создания и развития направлений деятельности канадской фирмы Томсон Рейтерс (Thomson Reuters) . В 2016 г. Thomson Reuters объявила о том, что собирается продавать свой бизнес в области интеллектуальной собственности и науки (включая Web of Science, MarkMonitor и EndNote) частным инвестиционным фондам1 . В итоге цена финансовой сделки по продаже WoS компании Elsevier составила три миллиарда долларов [Grant 2016]2 . Такова стоимость нашей «коллективной интеллектуальности»
К этому стоит добавить, что диктатура ПН привела к тому, что вокруг этой темы активизировалось и «мелкое предпринимательство» в околоакадемических кругах. Уверена, что большинство из нас регулярно получает письма с предложениями за определенную плату опубликоваться в индексируемых в РИНЦ изданиях, а на веб-сайтах, специализирующихся на «продаже» авторефератов диссертаций, можно увидеть контекстную рекламу, предлагающую за деньги не только написание дипломных и курсовых, но и подготовку (с гарантированным результатом) публикации в Scopus . Иначе говоря, так же как в 1990-е и 2000-е отдельные преподаватели (иногда чуть ли не целой кафедрой) не гнушались таким видом заработка, как
<https://www.thomsonreuters.com/en/press-reLeases/2016/juLy/thomson-reuters-announces-
definitive-agreement-to-seLL-its-inteLLectuaL-property-science-business.htmL>.
Примечательно, что автор этого материала приводит высказывание одного из экспертов по поводу
осуществленной сделки, который говорит о том, что компании готовы инвестировать только в те
проекты, которые впоследствии можно перепродать ("Private-equity groups onLy buy something
when they have an idea of how they wiLL reseLL it Later", — Joseph Esposito, who heads Processed Media,
an academic and professionaL pubLishing consuLtancy in New York City).
I написание кандидатских и докторских диссертаций (вместе
I с созданием полноценной научной биографии в виде статей),
Ц сегодня мы можем наблюдать нечто похожее и вокруг науко-
« метрических показателей, а поскольку правила игры усложни-
§ лись, то, видимо, и ценник теперь другой (об этом мне допод-
I линно неизвестно) .
Главный научный скандал года (я имею в виду случай «Собачьего парка» [Воронин 2018]), помимо всего прочего, заставил нас задуматься о том, что субъективизм и человеческий фактор (как раз через механизм peer reviewing) продолжают действовать, поэтому не стоит заблуждаться насчет абстрактного объективизма автоматических алгоритмов. Публикация в престижном с точки зрения наукометрических показателей журнале — это в первую очередь технология по созданию текста с сильным (хотя и не обязательно верифицируемым) аргументом, под который можно подвести и «доказательную базу», главное, чтобы все правильно было оформлено и не вызывало сомнений с точки зрения даже не то чтобы политической корректности, а скорее следования всем конвенциям по написанию таких текстов
Библиография
Анохин A.A. Базы данных и поисковые системы по научному цитированию — оценка продуктивности трудов исследователя // Вы-шэйшая школа. 2015 . № 2. С . 48—53 . <http://rep .pac .by/jspui/ bitstream/123456789/97/1/Анохин%2c%20А . %20А . %20 Базы%20данных%20и%20поисковые%20системы%20по%20 научному%20цитированию . pdf> . Березкина Н, Сикорская О., Хренова Г. Использование баз данных "Web of Science" и "Scopus" для оценки результатов научной деятельности в Национальной Академии наук Беларуси // Информационные ресурсы России . 2011. № 4 . С . 19—21 . Болотов В.А., Квелидзе-Кузнецова Н.Н., Лаптев В.В., Морозова С.А. Индекс Хирша в российском индексе научного цитирования // Вопросы образования. 2014 . № 1 . С . 241—262. Воронин Н. Научный скандал года: ученые писали фейк-исследования, чтобы разоблачить лженауку // BBC News / Русская служба. 2018, 4 окт. <https://www.bbc . com/russian/features-45751968> . Ранчин А. Сумерки Просвещения . Высшее образование в современной России // Новый мир . 2013 . № 7 . <http://magazines . russ . ru/ novyi_mi/2013/7/12r. html> . Шарабчиев Ю.Т. Российский индекс научного цитирования eLibrary . ru как инструмент оценки продуктивности и значимости ученых и научных коллективов // Медицинские новости . 2013 . № 2 . С . 24-28.
Cole J.R.., Cole S. Social Stratification in Science . Chicago: University of Chicago Press, 1973 . 283 p .
Frankel M.S., Cave J. Introduction // Frankel M. S . , Cave J. (eds. ) . Evaluating Science and Scientists . An East-West Dialogue on Research Evaluation in Post-Communist Europe . Budapest: CEU Press, 1997 . P . 1-6 . Grant B. Web of Science Sold for More Than $3 Billion // The Scientist. 2016, July 15 . <https://www.the-scientist.com/the-nutshell/web-of-science-sold-for-more-than-3-billion-33184> . Meester W. Access to Excellent Research: Scopus in Lithuania. 2015 . <http:// serials . lt/wp-content/uploads/2015/03/Meester_Access_to_ Excellent_Research_Scopus_in_Lithuania_Vilnius_20150318 .pdf> .
игорь федюкин
Не секрет, что управление научным процессом в НИУ ВШЭ, где я работаю последние пять лет, основано во многом именно на «прикладной наукометрии» . Сотрудники, в том числе и я, ежегодно проходят «оценку публикационной активности», которая предполагает начисление определенного количества баллов за разные типы публикаций, причем в последние годы этот процесс автоматизирован . Подавая заявки на научные проекты, авторы берут на себя обязательство подготовить некоторое число публикаций, описываемых через наукометрические показатели (принадлежность журнала, где опубликована статья, установленному «квартилю», определяемому через формальные показатели цитируемости) . Исходя из формальных показателей цитируемости отбираются и кандидаты в эксперты для оценки этих заявок и т д
Скажу прямо: меня устраивает эта система, более того, я считаю ее наиболее комфортной, справедливой и демократичной из всех известных мне альтернатив . Комфортной — потому что она избавляет меня от необходимости вступать в объяснения с коллегами по кафедре или факультету о том, чьи публикации чего стоят (или не стоят) . Честно говоря, мне трудно представить откровенный, прямой и профессиональный разговор такого рода в условиях российской (да и не только российской) академической среды —
Игорь Игоревич Федюкин
Национальный
исследовательский университет «Высшая школа экономики», Москва, Россия [email protected]
| разговор, который не скатился бы или в личностный кон-
I фликт, или, наоборот, в добродушное «все у нас молодцы» .
Ц Справедливой — потому что при всех оговорках вычисленный
« на основе формальных показателей цитируемости уровень
Л журнала достаточно адекватно, с моей точки зрения, отражает
I объем усилий, необходимых для того, чтобы в нем опублико-
ваться . Система выставляет вполне честные ориентиры с точки зрения качества научной работы и защищает сотрудника настолько, насколько это возможно в реальной институциональной жизни, от субъективизма и вкусовщины со стороны коллег и руководителей. Выбирая журнал для публикации, мне не надо задумываться о том, как относится к нему мой начальник, какие у него отношения с главным редактором и как он оценивает теоретическое направление этого журнала . Демократичной — потому что подобная система в наибольшей степени позволяет молодому сотруднику накапливать академический капитал самостоятельно, без опоры на патронажные сети
Разумеется, у подходов, основанных на ПН, есть масса критиков, к которым относятся и многие весьма заслуженные коллеги, для которых, уж конечно, не составляет труда соответствовать самым высоким наукометрическим стандартам Но при всем уважении к ним претензии, которые приходится чаще всего слышать в публичном поле, не представляются мне убедительными
Одно из распространенных замечаний состоит в том, что ПН можно манипулировать: вместо того чтобы заниматься наукой, люди начинают «накручивать» цитируемость, публиковаться в «хищных» и «мусорных» журналах, «резать» свои научные результаты на несколько карликовых статей и т д Что ж, это верно: такие манипуляции действительно имеют место Однако эта проблема в принципе свойственна всем без исключения попыткам что-то оценить в социуме Нет ни одного вообще управленческого воздействия, которое не порождало бы попытки очковтирательства Нет ни одного показателя, который был бы застрахован от фальсификаций со стороны оцениваемых . Любое управленческое воздействие порождает непредвиденные — а вернее, вполне ожидаемые — побочные последствия Вопрос поэтому должен стоять не о том, порождает ли ПН манипуляции или нет, а о том, становится ли при использовании ПН манипуляций больше, чем при использовании других подходов к управлению наукой . Было ли научного очковтирательства меньше, скажем, в советскую эпоху? Рискну предположить, что нет, не было меньше . Если сегодня некоторые коллеги увлекаются публикациями в «хищных» и «мусорных» журналах, то пару десятилетий назад их предшественники производили горы бессмысленных сборников тезисов конференций и тому подобной научной макулатуры Другое
дело, что именно методы ПН и позволяют нам увидеть эти самые манипуляции и очковтирательство, которые раньше оставались надежно погребены в толще кафедральных отчетов, и наглядно продемонстрировать, что макулатура — это именно макулатура Более того, увидеть масштабы очковтирательства в вузе NN теперь может любой желающий, имеющий доступ к соответствующей базе данных.
Не менее часто приходится слышать, что ПН не учитывает особенности отдельных дисциплин (например, важность монографий для гуманитариев), стрижет всех под одну гребенку, ставит одни дисциплины в невыгодное положение по сравнению с другими . Действительно, различия между научными дисциплинами, обусловленные самим устройством этих дисциплин, существуют Различаются общепринятые методы подачи материала, ритм научной деятельности — в одной дисциплине работают сотни лабораторий и твою работу начинают цитировать десятки авторов еще на стадии препринта, в другой может пройти несколько лет до выхода работы по смежной теме, где тебя впервые процитируют . Однако и эта проблема представляется мне несколько надуманной . Во-первых, давайте признаемся: те самые «химики-физики», которые сегодня обгоняют нас, гуманитариев, «по Хиршу», получали на порядки более высокое финансирование и до появления всякой наукометрии. «Гуманитарии» проигрывают «химикам-физикам» в межвидовой борьбе не из-за ПН, а в силу общих принципов организации научной отрасли и ее финансирования Во-вторых, мне не доводилось слышать, чтобы где-то кто-то действительно напрямую сравнивал химика с филологом по «размеру Хирша» без поправок на эти самые дисциплинарные особенности или прямолинейно использовал наукометрические показатели при принятии кадровых решений («мы должны нанять кандидата Х, а не Y, потому что у него Хирш выше на 0,01») . Здесь, к сожалению, оппоненты ПН нередко представляют окарикатуренную картинку наукометрических подходов, а затем с успехом разбивают в пух и прах этого нарисованного ими же самими картонного дракона
Во всяком случае, претензии такого рода, как кажется, относятся не к наукометрическим методам как таковым, а к тому, как именно они используются при принятии кадровых и финансовых решений . Что ж, использовать неверно, неаккуратно, слишком прямолинейно можно любой метод Если забивая гвозди микроскопом, мы перепортим массу гвоздей и микроскопов, претензии должны быть не к микроскопам, а к тем, кто использует их не по назначению . И разумеется, использование ПН (как и любых других методов управления) — это процесс непрерывного обучения, калибровки, адаптации . В случае НИУ ВШЭ,
| например, в последние годы фокус переносится со стимулиро-
I вания любых вообще публикаций в международных реферируе-
Ц мых журналах на стимулирование публикаций в наиболее цити-
¡5 руемых журналах, планка поднимается — и это правильно .
X
ч
| Не представляются убедительными и некоторые стандартные
,11 претензии к ПН, в основе которых лежат не те или иные недо-
статки этого подхода как такового, а стремление решить какие-то иные, смежные задачи . Например, приходится слышать, что ПН ориентирует российских исследователей на наиболее цитируемые, т е зарубежные научные журналы, и тем самым мешает развиваться российским журналам . Так, в ходе недавнего обсуждения этой проблемы применительно к экономической профессии прозвучало мнение, что «стимулируя российских экономистов публиковаться за рубежом, прежде всего на Западе, мы обескровливаем российские журналы, лишаем их шансов получить высокий рейтинг, а это, в свою очередь, побуждает отечественных исследователей менять тематику и публиковаться в зарубежных изданиях» [Полтерович и др . 2018: 138].
Нетрудно увидеть, что здесь, конечно, воспроизводится откровенно протекционистская логика: не журналы для ученых, а ученые для журналов . Как российским потребителям все чаще предлагают оплатить из своего кармана поддержку отечественного производителя (покупая более дорогие или менее качественные отечественные товары вместо импортных), так и ученым предлагается, по сути, поступиться возможностью нарастить свой международно конвертируемый академический капитал ради того, чтобы уважаемым редакторам российских научных журналов было проще работать . Удивительно, что претензии такого рода иногда поддерживают и вполне либеральные коллеги, которые в иных ситуациях сами готовы критиковать протекционистские меры, наносящие ущерб российским потребителям По счастью, в последнее время мы видим примеры российских научных журналов (по крайней мере, в моей области — истории), которые весьма успешно наращивают свою репутацию без всяких протекционистских мер .
Говоря о доводах оппонентов ПН, неверно было бы не привести и самый, пожалуй, популистский из них — «довод имени Пе-рельмана» . Критика эта основана на том, что применение ПН не учитывает индивидуальные особенности ученых, различия в стилях и темпах работы, не оставляет места для «казуса Пе-рельмана» — человека, который бы много лет ничего не публиковал, а потом выдал бы научный результат мирового уровня . Что ж, это действительно так. Сторонники этого довода забывают, однако, указать, что места для «казуса Перельмана» не оставляет — не должна оставлять — любая нормальная система
организации работы в научном институте . Ссылаться на пример Перельмана удобно, но еще удобнее не замечать, что на одного Перельмана, который (якобы) годами ничего не публиковал, а потом «выстрелил» результатом наивысшего мирового уровня, приходятся тысячи научных сотрудников, которые тоже ничего не публиковали годами, но потом так ничего и не произвели И дело ведь не только в том, что эти сотрудники годами просиживали свои кресла напрасно, — гораздо хуже, что они годами занимали те ставки, которые могли бы занять перспективные молодые исследователи, которые в результате были выброшены из профессии. Не будет преувеличением сказать, что сама возможность «казуса Перельмана» — это оборотная сторона того кадрового застоя в российской науке, отсутствия притока молодежи, который так ударил по ней в 1990-е гг.
Как нетрудно заметить, у всех этих разнообразных доводов против использования ПН есть одна общая черта: они, как правило, не предусматривают какой-то практической альтернативы ПН противопоставляется (обычно имплицитно) некоторой идеальной системе, контуры которой не прояснены Это хорошо видно на примере еще одного расхожего довода — утверждения о том, что ПН предполагает передачу права принимать решения в области науки «от ученых к бюрократам» Однако какой же именно могла бы быть система, где «решения принимают сами ученые»? Повторюсь, прямо она почти никогда критиками не проговаривается, но, как кажется, имеются в виду обычно два варианта Один из них — это оценка с опорой на некоторых внешних экспертов, нечто вроде британского Research Assessment Exercise . Звучит привлекательно, но ни одного положительного отзыва от тех, кто в ней участвовал, мне слышать не приходилось Проведение такой оценки оборачивается гигантской бюрократической кампанией с многочисленными заседаниями, подготовкой пакетов документов и т . д . , что чуть не на полгода поглощает все наличное свободное время и силы участников и превращается в огромный налог на самих ученых . При этом уровень журналов и издательств все равно — неизбежно! — имеется в виду. Признаюсь честно, я лично предпочту, чтобы меня регулярно оценивала автоматизированная система по формальным показателям
Вторая из имплицитно предполагаемых под лозунгом «решать должны сами ученые» альтернатив — это идеализированная советская система, нечто вроде обсуждения на кафедре или ученом совете в самой организации Проблема лишь в том, что на практике степень участия «самих ученых» в любых таких внутренних обсуждениях весьма сомнительна, вернее, мы знаем, слово каких именно ученых оказывается в них решающим: начальников и академиков . Причем верно это не только в Рос-
| сии, но и в западноевропейских странах, где принцип «решать
I должны сами ученые» означает полную зависимость младших
Ц по статусу ученых от патронажных сетей и «академических ба-
« ронов» . Единственное исключение — это США, где обсужде-
§ ние на кафедре с привлечением отзывов широкого круга внеш-
I них экспертов, прохождение процедуры tenure действительно
работает как ключевой инструмент контроля качества научного процесса Однако следует помнить, что в США сама возможность работы такого механизма предполагает также, во-первых, негласный запрет на найм собственных выпускников, во-вторых, увольнение не прошедшего такую оценку коллеги, и в-третьих, принципиально отличную от российской и западноевропейской систему финансирования университетов, стимулирующую реальную конкуренцию за кадры и репутации
Поэтому, как представляется, в лозунге «откажемся от ПН, потому что решения должны принимать сами ученые» есть некоторое лукавство Наоборот, это в основе наукометрического подхода лежат именно решения самих ученых, причем максимально широкого круга ученых, каждый из которых в тот или иной момент принял решение процитировать статью или нет, а до того — рекомендовать ее для публикации в данном журнале или нет Наукометрия лишь позволяет агрегировать эти многочисленные, не-скоординированные между собою решения Повышение своих наукометрических показателей в этом смысле оказывается способом накопления академического капитала, который котируется за пределами данной организации и в принципе может быть перенесен ученым в иной вуз или институт, а значит, повторюсь, предоставляет ученому хотя бы некоторую степень автономии от патронажных сетей и научных кланов И действительно, в последние годы мы видим, что фигура молодого ученого, способного публиковаться в рейтинговых журналах, начинает пользоваться спросом на российском академическом рынке труда «Научные бароны» сами начинают охотиться за такими кадрами, инвестировать усилия и средства в их привлечение . В этом, как мне кажется, и заключается главное преимущество ПН, ее демократичность: она позволяет отдельно взятому ученому хотя бы в какой-то степени получить автономию от своих непосредственных руководителей в том, что касается оценки его работы .
Библиография
Полтерович В.М., Заостровцев А.П., Гурвич Е.Т., Волчкова Н.А., Григорьев Л.М., Яковлев А.А. Стимулы для академических и прикладных исследований и формирование экономического сообщества (Материалы круглого стола в рамках XIX Апрельской международной научной конференции НИУ ВШЭ) // Вопросы экономики . 2018 . № 10 . С . 136-155 .
стивен хатчинс
l
2
Стивен Хатчинс (Stephen Hutchings)
Манчестерский университет,
Манчестер, Великобритания [email protected]
Наш университет поощряет, чтобы мы создавали профили в Google Scholar, на Academia edu и других подобных платформах и отслеживали свой вклад в науку Я какое-то время сопротивлялся, но потом все-таки сдался . И должен сказать, что это оказалось интересно и информативно, хотя на мою оценку своего «вклада в науку» эти цифры не особенно влияют Удивляют высокие рейтинги одних моих публикаций и низкие — других. Это заставляет меня задумываться о своей «публикационной стратегии» и кое в чем ее пересматривать В таком смысле этот опыт оказался полезен
Хоть это и необязательно, сейчас наукометрические данные часто включаются также в документы для повышения сотрудника В гуманитарных дисциплинах подобная информация редко имеет решающее значение, и в комиссии по повышению подчас относятся к ней весьма скептически, тогда как в точных и естественных науках ее воспринимают гораздо серьезнее Когда молодые коллеги спрашивают меня, включать ли подобные данные в свои пакеты документов, я советую им делать так, только если эта информация показывает их в выгодном свете и может произвести благоприятное впечатление на комиссию
Наукометрическая информация о каждом сотруднике также обязательно заносится в нашу университетскую электронную систему подготовки к REF (Research Excellence Framework — Национальная комиссия по оцениванию университетских исследований) Насколько мне известно, до сих пор это не играло особой роли в прогнозировании оценок REF, во всяком случае, не для гуманитариев
Пока я не слышал, чтобы ПН играла какую-то роль в мире грантового финансирования в гуманитарных науках, если не считать обязательства заносить эти данные в прило-
з
4
жение "Researchfish" для тех грантов, которыми я руковожу. Также мне ничего неизвестно о том, чтобы в нашем университете ПН когда-либо фигурировала в принятии внутренних решений о распределении ресурсов и академических позиций или о выделении и продлении финансирования для научных центров. Но все может измениться . ПН вовсю набирает обороты, но пока еще точечно . Тем не менее она начинает проникать в исследовательские структуры и процессы в университете, даже в гуманитарных дисциплинах. Исключением можно считать спущенное нам указание, чтобы мы смотрели на рейтинги журнала при выборе места для публикации Теперь я действительно обращаю на это внимание, но эти цифры редко становятся для меня решающим фактором
Мне слишком мало известно об этом аспекте в других академических культурах, чтобы я мог дать комментарий . Скажу только, что по моим впечатлениям в грантодающих организациях ЕС и многих европейских университетах принят скорее более механистичный и жесткий подход к ПН, чем в Англии .
На мой взгляд, ПН, несомненно, представляет собой полезный и необходимый инструмент определения ценности и вклада научного исследования, но только в составе более широкого набора методов, в том числе таких, которые включают нестатистические компоненты ПН ни в коем случае нельзя руководствоваться, принимая решения о финансировании, назначениях на должности, повышении сотрудника и в других случаях оценки исследовательской деятельности Пусть ПН помогает принимать такие решения, но только если она используется разумно и не играет решающей роли . Думаю, если предусмотреть такие ограничения в официальных руководящих принципах для ПН, то едва ли она станет проблемой
Пер. с англ. Александры Касаткиной
дэвид эджертон
Дэвид Эджертон (David Edgerton)
Королевский колледж, Лондон, Великобритания [email protected]
Будучи заместителем директора по науке (research lead) в департаменте, который входит в первую двадцатку мирового рейтинга университетов в своей предметной области (по версии QS Rating1), я постоянно сталкиваюсь с проблемой оценки качества исследований . В Англии регулярные аудиторские
1 Международный рейтинг университетов по версии компании Quacquarelli Symond.
проверки исследовательской деятельности стали нормой с 1990-х гг . (сейчас это называется Национальная комиссия по оцениванию университетских исследований1, аудит проводится каждые семь лет, очередной запланирован на 2021 г . ) . Но сразу должен сказать, что сам я ПН почти не пользуюсь . Чаще всего я сталкиваюсь с ней в собственных исследованиях, когда анализирую дискуссии о научной политике в разных странах в поисках инновационной деятельности. Показатели цити-руемости — отвратительная мерка для инноваций, но их используют, потому что ничего лучше не придумали . Я действительно время от времени смотрю на эти цифры, но не потому, что они что-то доказывают, а напротив, потому что они дают почву для сомнений . И в этом смысле такие данные, на мой взгляд, полезны
Мне доводилось участвовать и в обсуждениях кандидатур на исследовательские позиции, и в оценке исследований, и в работе научных журналов, и ни разу я не видел, чтобы кто-то обращался к ПН . Частичное исключение: журналы иногда действительно сравнивают импакт-факторы, но в гуманитарных дисциплинах (или в большинстве из них) количество цитирований и временные масштабы, в которых ведется измерение, слишком невелики, чтобы сравнение могло что-то показать Так или иначе, различия рейтингов цитируемости даже по разным областям одной исторической дисциплины настолько велики, что пользоваться такими данными просто опасно
К счастью, в Англии это в целом признают . Вот для того чтобы проверить претензии на значимость и научный вклад, которые предъявляют отдельные индивиды или организации, эти данные могут пригодиться И хотя ПН никогда не играет решающей роли, с ее помощью можно вынести более точную оценку Конечно, нужно признать, что любые методы оценки несовершенны, и потому приходится обращаться к ПН, но и она — не исключение . У нее есть своя, очень узкая, ниша .
Пер. с англ. Александры Касаткиной
1 Research Excellence Framework (REF) — процедура оценки исследовательской деятельности британских научных институций, которую с 2014 г. раз в семь лет проводят четыре организации, занимающиеся финансированием высшего образования и науки в стране.
от редколлегии
Николай Борисович Вахтин
Европейский университет в Санкт-Петербурге, Санкт-Петербург, Россия [email protected]
Во многих «Форумах», организованных «АФ», мнения авторов реплик оказывались близки между собой в главном, хотя и различались в деталях . В этой дискуссии не так: здесь мнения полярные. Разброс — от решительного утверждения, что прикладная наукометрия (далее ПН) — «важный и очень полезный компонент современной системы научной коммуникации» (Алексей Осколький), до не менее решительного «наукометрические показатели кричащим образом не соответствуют < . . . > ценности ученого» (Елена Березович) .
Есть реплики, отвергающие ПН, есть — принимающие ее, есть хотя и критикующие ПН, но признающие ее неизбежность, есть взвешенные, честно рассматривающие положительные и отрицательные стороны ПН . Есть реплики более сдержанные и объективные, есть более эмоциональные Никто из авторов «Форума» не использует аргументы ad ^ттет, не пытается «уничтожить оппонента»: хорошо знакомого всем нам хода «если ты думаешь иначе, чем я, значит ты или неумный, или купленный» наши авторы, к счастью, себе не позволяют
Впрочем, авторы не всегда принимают всерьез аргументы противоположной стороны Вместо этого они придумывают за воображаемого оппонента, по удачному выражению Игоря Федюкина, картонных драконов, а потом успешно их побеждают Так поступают и те, кто выступает однозначно за ПН, и те, кто однозначно против . Это свидетельствует, как кажется, о том, что редакция «АФ» не напрасно организовала дискуссию: может быть, теперь, когда реплики сторонников и противников собраны вместе на страницах «Форума», их авторы и просто читатели журнала смогут лучше понять аргументы обеих сторон
Я построил заключение от редколлегии как перечень основных тем, обсуждаемых в «Форуме», с некоторыми комментариями
откуда эта Пн вообще взялась на нашу голову?
Более или менее общее мнение: появление ПН было неизбежно, и поначалу это был вполне невинный и даже полезный инструмент . Ее создание и внедрение было вызвано увеличением в 1960-1970-е гг. числа ученых и связанным с ним ростом конкуренции за государственное финансирование Появилась потребность в единообразных правилах и объективных критериях для оценки научной деятельности (Артем Космарский) Управление наукой трансформировалось в соответствии с неолиберальными принципами, приоритеты университетов, факультетов и лабораторий стали все больше смещаться в сторону получения прибыли (Катриона Келли) . От ученых начали требовать измеримых, поддающихся количественной оценке результатов (Артем Космарский)
Однако дальше «что-то пошло не так» . Тот же Космарский, однозначно выступающий в поддержку ПН, отмечает, что действие закона Гудхарта (или похожего на него закона Кэмпбел-ла) быстро подрывает авторитетность наукометрии: когда количественный социальный или экономический показатель начинает восприниматься как цель, он перестает заслуживать доверия, потому что индикаторы процесса становятся важнее самого процесса . При неумелом использовании ПН ее показатели становятся самоцелью: нас принуждают к повышению публикационной активности не ради увеличения числа хороших статей, не ради постижения научной истины, а исключительно для увеличения самих этих показателей (Альмира Усманова) Накопление баллов превратилось во многих университетах «из малого пряника в большой кнут» (Галина Орлова) .
достоинства и недостатки Пн
Достоинства ПН отмечают многие авторы «Форума» . Прежде всего система помогает национальной науке преодолевать изоляцию, способствует формированию общего научного и информационного пространства, в котором накопленный академический капитал котируется независимо от страны проживания и университета, где ученый работает (Алексей Оскольский, Елена Березо-вич) . Система отсекает слабые работы, помогает объективно оценить качество исследования, защищает от субъективизма и вкусовщины со стороны коллег и руководителей (Игорь Федюкин, Алексей Оскольский) Наконец, она предоставляет в распоряжение грантодающих организаций объективный инструмент для определения, кого финансировать (Алексей Оскольский)
Положительные стороны ПН отмечают и иностранные коллеги . По мнению Катрионы Келли, система научного аудита оказала положительное влияние на состояние британской науки
| Кроме того, попадание специального журнала в престижную
I базу может привлечь в область исследований, к которой он от-
Ц носится, хороших авторов и, следовательно, усилить позиции
« этой научной специальности (Елена Березович) .
X
| Недостатки ПН также отмечают многие. Наукометрические
а рейтинги как инструмент создания гарантий качества ненадеж-
ны (Ив Левин) . Основной их недостаток состоит в том, что они учитывают почти исключительно журнальные статьи (Алексей Оскольский), и при этом далеко не все, а это значит, что они не отражают реального качества работы ученого . Пример: в 2017 г . один из самых известных журналов по исследованиям России "The Russian Review" был исключен из базы, потому что при публикуемых статьях не оказалось DOI и электронных адресов авторов (Ив Левин) . Действительно, непонятно, какое отношение к качеству статьи или профессиональной репутации ученого имеют эти формальные критерии включения в базу
Далее, повсеместное внедрение ПН портит (или не позволяет вырабатывать) вкус на хорошую научную литературу, способствует возникновению легковесной науки . Система искушает ученого стать конъюнктурщиком (Елена Березович) . Погоня за «импактом» и «хиршем» поощряет писать и печатать статьи и книги на модные темы, имеющие высокий общественный резонанс, но почти или совсем не продвигающие вперед науку (Катриона Келли) . В российских вузах почти повсеместно действует неписаное правило цитировать только что вышедшие статьи коллег с надеждой на «взаимность», чтобы увеличить показатели цитируемости друг друга (Альмира Усманова) .
Еще одну черту в зависимости от точки зрения можно трактовать и как достоинство, и как недостаток: внедрение ПН предполагает утверждение принципа меритократии в университетской жизни и ставит под вопрос традиционные статусы и иерархии (Альмира Усманова)
неоколониализм vs. протекционизм в науке
Противники ПН утверждают, что погоня за индексом цитируемости — это признание факта «неоколониальной зависимости» постсоветских гуманитариев в глобальной системе производства знания (Альмира Усманова): англоязычный журнал имеет больше шансов попасть в престижную базу, чем журнал на любом другом языке, и это вынуждает всех писать по-английски, что подрывает позиции журналов, выходящих по-испански, по-польски, по-литовски, по-русски... Сторонники ПН, в свою очередь, обвиняют ее противников в «протекционизме», в попытках искусственно продлить жизнь некачественных журналов только на том основании, что они печатаются на националь-
ном языке «Не журналы для ученых, а ученые для журналов»: от ученых требуют, чтобы они поступились возможностью «нарастить свой международно конвертируемый академический капитал ради того, чтобы уважаемым редакторам российских научных журналов было проще работать» (Игорь Федюкин) Кажется, впрочем, что речь идет не о том, чтобы работать было проще (проще как раз подчиниться диктату), а о том, чтобы работать было интереснее (Александра Пиир)
Кстати, о журналах Противопоставление «журналов» и «ученых» не вполне корректно, поскольку в журналах работают те же ученые, которым тоже жалко сил и времени на формальности, не имеющие отношения к качеству журнала (Александра Пиир): это время можно было бы потратить на содержательную сторону редакционной работы, да и на собственные исследования Кроме того, широкое применение ПН не только вынуждает авторов выбирать журналы не по их потенциальной аудитории, а по их вхождению в ту или иную базу, оно еще и неизбежно унифицирует, усредняет и сами журналы . Ведь чтобы попасть в базу, журнал вынужден соответствовать некоему загадочному, неясно кем выработанному стандарту — по форме представления, объему, характеру материалов, языку и набору обязательных рубрик (Александра Пиир) . Можно понять раздражение ученых, работающих в журналах, когда их вынуждают тратить время на непонятную формалистику
В репликах высказываются интересные суждения об (и от имени) ученых «постсоветского пространства»: многие хотели бы печататься либо на родном языке, либо по-русски, потому что тогда они взаимодействуют с близким им академическим сообществом, но навязанные правила вынуждают их печататься по-английски . Так, Альмира Усманова интересно пишет про ситуацию в Литве: переориентация исследователей на английский язык ставит под вопрос судьбу литовского как языка научной коммуникации и судьбу литовских журналов Видимо, аналогичная ситуация и в других странах Восточной Европы Понятно, что позиции по отношению к ПН со стороны тех, чей родной язык английский, кому удобно и привычно писать и печататься по-английски, и всех остальных существенно расходятся, не говоря уж о прямых недоработках некоторых систем (например, РИНЦ), когда алфавиты и шрифты других языков «автоматически превращаются в ряды вопросительных знаков» (Александра Пиир)
это только русский вопрос?
Из ответов становится ясно, что нет Для России внедрение и бурный рост ПН не новость: аналогичные попытки уже были .
| Галина Орлова подробно рассказывает о введении в 1960-е гг.
I в СССР системы оценки эффективности научных коллекти-
Ц вов . Советская ситуация мало чем отличается от современной:
« введенная из самых лучших побуждений, система быстро стала
Л поводом и основанием «для регулярных административно-
5
5 командных интервенций в институтскую жизнь» .
Реплики зарубежных коллег показывают, что неточно утверждение, будто бы только российские ученые «фрустрируют по поводу ПН» (Алексей Оскольский) . Обеспокоены все . Британцев смущает «спущенное нам указание, чтобы мы смотрели на рейтинги журнала при выборе места для публикации» (Стивен Хат-чинс) Американцев беспокоит готовность университетской администрации довериться ПН, которая ограничивает ученых «в выборе места, где публиковаться» и, следовательно, определяет за них их целевую аудиторию (Ив Левин) . Работающую в Литве Альмиру Усманову раздражает погоня за индексом ци-тируемости, которая свидетельствует о необратимости утверждения менеджериализма в академической сфере . В Британии в гуманитарных дисциплинах, в отличие от точных наук, наукометрическая информация редко имеет решающее значение, и в комиссиях по повышению в должности подчас относятся к ней весьма скептически (Стивен Хатчинс) . И хотя британская и американская системы оценки вузов устроены по-разному, несовершенство и ненадежность ПН негативно воздействуют и на них: «Если данные об отдельных сотрудниках так ненадежны, то и на агрегированные данные об исследовательской продуктивности департаментов полагаться нельзя» (Ив Левин) .
Так что к предупреждению Катрионы Келли, отлично знающей и британскую, и российскую научную традицию, следует отнестись серьезно: «Российским исследователям нужно приложить все усилия, чтобы не допустить засилья ПН и индексов цитирования» То есть не допустить ситуации, когда начинает работать упомянутый выше «закон Гудхарта»
экспертная оценка vs. Пн
Многие авторы отмечают, что обе существующие системы независимой оценки качества научной работы — более привычная нам экспертная система и новая система ПН — имеют свои недостатки. Эти недостатки можно уменьшить, хотя и разными способами: экспертная, репутационная оценка «лечится» формализацией, а наукометрия — децентрализацией (Артем Космарский) Однако здесь мы упираемся в проблему, которая, кажется, в большей мере характерная для отечественной науки Воспользуюсь примером из реплики Елены Березович: «Индекс Хирша у крупнейшего лингвиста современности ака-
демика А.А. Зализняка равен этому же показателю, достигнутому И . С . Карабулатовой, известной как минимум плагиатом» .
Это серьезная проблема, но прямого отношения к ПН она не имеет. Обилие в нашем отечестве фальшивых диссертаций, публикаций в «мусорных» журналах, выгодная привычка «"резать" свои научные результаты на несколько карликовых статей» (Игорь Федюкин) и всякими иными способами накручивать индекс цитирования и число печатных работ — действительно наша беда, но причина ее не в ПН, а в почти полном отсутствии самоуважения в отечественной ученой среде, в отсутствии того, что называют старомодным словом «совесть»
Да, ПН далеко не идеальна, но и экспертная система может быть эффективна только в сообществе, в котором действует институт репутации. В российских условиях он не работает, поэтому (при отсутствии вышеупомянутой совести) эксперт с большой вероятностью будет оценивать чужие работы в интересах своего клана или заказчика (Алексей Оскольский) . Впрочем, если судить по реплике Катрионы Келли («футболисты-легионеры» и прочие уловки), да и по другим репликам, этим грешит не только отечественная наука
Многими ПН воспринимается как диктат: передача всех прав на научное творчество «скопусам», рейтингам и менеджерам, пишет Галина Орлова, «неприемлема ни политически, ни эпистемоло-гически» Пассивное сопротивление этому диктату воспринимается как обязательное поведение . Предполагается, иными словами, что где-то существует «гамбургский счет», опирающийся не на ПН, а на научную репутацию . Хорошо бы, конечно, оценивать ученых и кафедры по такому счету — только непонятно, как это делать в ситуации отсутствия той самой совести
Иными словами, ПН с ее (кажущейся?) объективностью пришла на смену системе экспертизы Показатели цитируемо-сти — отвратительная мерка для инноваций (appalling measure of innovation), но, пишет Дэвид Эджертон, почти буквально повторяя слова Алексея Осколького, их используют, потому что ничего лучше не придумали Манипуляции действительно имеют место, однако «эта проблема в принципе свойственна всем без исключения попыткам что-то оценить в социуме»: нет ни одного управленческого воздействия, которое не порождало бы попытки очковтирательства; система ПН честнее, потому что позволяет нам ясно увидеть ее недостатки и совершаемые на ее основе манипуляции (Игорь Федюкин) .
Это подводит нас к следующему вопросу: недостатки ПН — это недостатки системы или ее применения?
| Пн, ее компоненты и применение
н
§ Кажется, что речь идет о важном различии, которое не все авто-
& ры реплик до конца осознают . Говоря о пользе или вреде, досто-
| инствах или недостатках ПН, мы часто подразумеваем какой-то
! один ее компонент, забывая о других, или имеем в виду, как эта
¡1 система используется в знакомом нам обществе, регионе или
университете . Так, говоря о значении ПН для индивидуальных исследователей, Альмира Усманова пишет, что «благодаря электронным научным базам данных < . . . > мы получаем доступ к огромным ресурсам» . Но ведь наличие электронных баз, удобных для пользователя, вполне может и не быть связано ни с индексом цитирования, ни с рейтингом журналов Можно было бы ограничиться только базами, но тогда как определять, хорошо ли работает тот или иной департамент, лаборатория или ученый? На основе этой базы начинают формироваться объективные рейтинги, индексы, квартили... Университетские администраторы, главные редакторы, комитеты по персоналу начинают анализировать, трактовать и использовать эти сведения — и мы быстро оказываемся там, где оказались Прав Алексей Осколь-ский, когда пишет: «Многие проблемы возникают не из-за самой ПН, а из-за неадекватной трактовки ее показателей»
Ему вторит Игорь Федюкин: претензии к системе ПН относятся на самом деле «не к наукометрическим методам как таковым, а к тому, как именно они используются при принятии кадровых и финансовых решений» Почти теми же словами описывает ситуацию Альмира Усманова: основная проблема «состоит в том, как ПН используется администраторами от науки и какие новые механизмы подчинения, формы административного произвола и интенсификации академического труда она производит или усиливает»
Кажется, что в этом пункте ситуация в России и в Британии существенно различается В России ПН используют гораздо шире и «гораздо более произвольно и неуклюже, чем в других академических культурах» (Катриона Келли) . «Я не слышал, — пишет Стивен Хатчинс, — чтобы ПН играла какую-то роль в мире грантового финансирования в гуманитарных науках» В Британии, пишет Катриона Келли, «ПН вообще никого особо не беспокоит, потому что к ней не так часто прибегают, а уж в гуманитарных и социальных науках ею и вовсе не пользуются» . Я ни разу не видел, вторит им Дэвид Эджертон, чтобы кто-то обращался к ПН при обсуждениях кандидатур на исследовательские позиции, при оценке исследований, в работе научных журналов Различия рейтингов цитируемости даже по разным областям одной дисциплины настолько велики, что пользоваться такими данными просто опасно «К счастью, в Англии это в целом признают», — заключает Дэвид Эджертон
В России, кажется, такое положение дел тоже начинают осознавать, хотя многие университетские администраторы пытаются делать вид, что это не так: им, видимо, так проще В реплике Игоря Федюкина мы находим тот же мотив: «Мне не доводилось слышать, чтобы где-то кто-то <...> прямолинейно использовал наукометрические показатели при принятии кадровых решений ("мы должны нанять кандидата Х, а не Y, потому что у него Хирш выше на 0,01")» . Кажется, что это типичный упомянутый выше картонный дракон: 0,01 %, естественно, никто не станет принимать во внимание, но если у одного кандидата Хирш = 12, а у второго — 3, то комиссия неизбежно обратит на это внимание
Наверное, под следующими словами Стивена Хатчинса подписались бы многие авторы реплик: ПН представляет собой полезный и необходимый инструмент определения ценности и вклада научного исследования, но только в составе более широкого набора методов, в том числе таких, которые включают нестатистические компоненты ПН ни в коем случае не должна играть ведущую роль (should never drive decisions) в решениях о финансировании, назначении на позицию, повышении сотрудника в должности
Как усовершенствовать Пн или чем ее заменить?
Конечно, просто отменить ПН нельзя: она уже стала «реальностью современного научного мира» (Ив Левин) . По-видимому, прав Артем Космарский, говоря, что «слишком привлекательна именно кажущаяся простота ПН, позволяющая быстро формализовать и перевести в цифры такую сложную и неуловимую вещь, как значимость и качество научного труда (или работы ученого, а то и целого института)» Однако насколько адекватен такой перевод? Высокие показатели цитирования определяет количество исследователей, которые специализируются в той или иной области, а не качество цитируемых текстов (Ив Левин) Даже активные приверженцы ПН признают, что есть области, где цитирование работ слабо связано с их качеством (Алексей Оскольский)
Есть ли альтернатива? Сторонники ПН утверждают, что доводы против ее использования, как правило, не предусматривают какой-то практической альтернативы: ПН противопоставляется некой идеальной системе, контуры которой не прояснены (Игорь Федюкин) Не уверен, что это во всех случаях так: даже наша скромная подборка реплик содержит интересные предложения по усовершенствованию системы ПН Конечно, лучший выход для недовольных — предлагать более адекватные инструменты оценки (Артем Космарский), которые учитывали
| бы не только публикацию статей, но и «невидимый труд» уче-
I ного (рецензирование, сбор материала, семинары, научное ру-
0
Ц ководство) . Космарский ратует за децентрализованную само-
« регулирующуюся систему по модели блокчейна. Чисто теоре-
§ тически, «в идеальном мире» он, наверное, прав, но проблема
1 в том, что каждый ученый — участник этого блокчейна — должен будет тратить свое время не на добывание нового знания, а на адекватное наполнение этой системы, на внесение в нее исчерпывающих сведений о себе . Это реалистично, только если данные будут вводиться автоматически, а это означает, что ученые всего мира должны будут работать в единой программе, которая, понятное дело, будет написана по-английски и первые 10—15 лет своего существования будет столь же несовершенна, сколь несовершенна сегодня система ПН . Через пять лет программа устареет, ее нужно будет менять на новую, писать новые, снова несовершенные программы по переводу данных из старого хранилища в новое, которое, в свою очередь, устареет через три года . . . Артем Космарский называет это «передний край технологического пронизывания реальности», — боюсь, что такая система будет иметь все недостатки ПН, помноженные на новые масштабы и степень сложности
заключение
В последнее время мы в редколлегии «АФ» замечаем, что собирать «Форумы», организовывать дискуссии, подобные этой, становится все труднее: коллеги с меньшей готовностью, чем прежде, отзываются на приглашение принять участие в обсуждении, поскольку реплики в «Форумах» не индексируются в базах ПН . Число присылаемых ответов по сравнению с тем, что было 10 лет назад, сократилось примерно вдвое (Александра Пиир) . Тем не менее нам пока удается организовывать и вести дискуссии То, что у нас получилось собрать этот «Форум», показывает: наукометрические соображения еще не до конца победили. Есть люди, готовые писать в журнал просто потому, что им это интересно, несмотря на честное предупреждение редакции, что реплики не индексируются. Всем участникам дискуссии мы поэтому особенно благодарны
Последнее, о чем хочется сказать . РИНЦ, Scopus и прочие базы производят (или по крайней мере пытаются произвести) впечатление формализованных, объективных инструментов. Однако не следует забывать, что вся работа этих баз обеспечивается конкретными людьми, не всегда внимательными, порой ленивыми или не очень хорошо разбирающимися в своих обязанностях. Сотрудники этих всесильных институций иногда вообще не отвечают на письма, часто отвечают невпопад,
добиться от них толку не всегда бывает просто . В течение нескольких месяцев мы в «АФ» пытались выяснить, индексируются ли в Scopus рецензии (они у нас в журнале большие, интересные, подробные, и будет жаль, если их откажутся включить) . Ответа нам пока не удалось добиться . Вот цитата из письма одной из наших коллег (назовем ее А. ), которая любезно разрешила мне этой цитатой воспользоваться:
«Поделюсь итогом моей переписки со Скопусом . Мой вопрос о том, как именно индексируются выпуски журнала, долго бродил по инстанциям, мне написали, наверное, человека три, каждый перекидывал кому-то еще . Пока, наконец, человек по имени NN не сообщил мне, что запустил процесс добавления моей статьи в базу (!) . Стоит ли говорить, что я не просила добавить в базу мою статью и даже не отправляла никаких конкретных данных, кроме нашего ISSN? Он пишет, что это может занять до четырех недель и что он мне напишет, когда она точно появится Посмотрим, что из этого выйдет Поскольку "моя статья" — это рецензия на X, так мы и узнаем, добавляют ли они рецензии»
Николай Вахтин
Forum 40: Applied Bibliometrics
This time, the discussion published under the heading "Forum" addresses the question of bibliometrics and its relation to the assessment of scholarly quality with which most scholars are now familiar. Participants share their experience with this system and discuss the question whether applied bibliometrics is a useful and necessary instrument of quality assurance in the academic world. If the answer is affirmative, what are the best ways of making sure that it does not become a problem in its own right.
Keywords: applied bibliometrics, ratings, ft-index.
References
Anokhin A. A. , 'Bazy dannykh i poiskovye sistemy po nauchnomu tsitirova-niyu — otsenka produktivnosti trudov issledovatelya' [Databases and Search Engines on Scientific Citations as Evaluators of the Productivity of a Researcher's Works], Vysheyshayashkola, 2015, no . 2, pp . 48—53. (In Russian) .
Berezkina N. , Sikorskaya O . , Khrenova G. , 'Ispolzovanie baz dannykh "Web of Science" i "Scopus" dlya otsenki rezultatov nauchnoy deyatelnosti v Natsionalnoy Akademii nauk Belarusi' [The Use of "Web of Science" and "Scopus" Databases for the Evaluation of Scientific Work in the National Academy of Sciences of Belarus], Informatsionnye resursy Rossii, 2011, no . 4, pp . 19—21. (In Russian) .
Bolotov V. A. , Kvelidze-Kuznetsova N . N . , Laptev V. V. , Morozova S . A. , 'Indeks Khirsha v rossiyskom indekse nauchnogo tsitirovaniya'
i [The h-index in the Russian Citation Index], Voprosy obrazovaniya,
| 2014, no . 1, pp. 241-262. (In Russian) .
0
1 Bordeleau E . , 'We Don't Know Yet What a Token Can Do', Medium: I Economic Spacing, 2017, Sept. 12. <https://medium . com/economic-| spacing/we-dont-know-yet-what-a-token-can-do-1d76671303ed> .
I Bourdieu P . , 'Sociologues de la croyance et croyance de sociologues', Archives
= de Sciences Sociales des Religions, 1987, vol. 63, no . 1, pp. 155-161 .
Campbell D . T. , 'Assessing the Impact of Planned Social Change', Evaluation and Program Planning, 1979, vol. 2, no . 1, pp . 67-90.
Cole J . R. , Cole S . , Social Stratification in Science. Chicago: University of Chicago Press, 1973, 283 pp .
'Forum: Prestige in Scholarship', Forum for Anthropology and Culture, 2008, no 9, pp 6-120
Franck G . , 'Scientific Competition — A Vanity Fair?', Science, 1999, vol . 286, no . 5347, pp . 53-55 . <http://science . sciencemag . org/ content/286/5437/53>
Frankel M . S . , Cave J. , 'Introduction', Frankel M. S . , Cave J. (eds. ), Evaluating Science and Scientists. An East-West Dialogue on Research Evaluation in Post-Communist Europe. Budapest: CEU Press, 1997, pp . 1-6 .
Frow J . , 'The Public Humanities', Modern Language Review, 2005, vol. 100, Supplement: 100 Years of "MLR", pp . 269-280 .
Grant B . , 'Web of Science Sold for More Than $3 Billion', The Scientist, 2016, July 15 . <https://www. the-scientist . com/the-nutshell/web-of-science-sold-for-more-than-3-billion-33184> .
Head M . L. , Holman L. , Lanfear R. , Kahn A T. , Jennions M . D . , 'The Extent and Consequences of P-Hacking in Science', PLoS Biology, 2015, vol. 13, no . 3, p . e1002106. <https://doi. org/10 ,1371/journal. pbio ,1002106> .
Herold E . , 'Researchers Behaving Badly: Known Frauds Are "the Tip of the Iceberg"', Leapsmag, 2018, Oct. 19. <https://leapsmag.com/ researchers-behaving-badly-why-scientific-misconduct-may-be-on-the-rise/>
Hicks D , Wouters P , Waltman L , de Rijcke S , Rafols I , 'Bibliometrics: The Leiden Manifesto for Research Metrics', Nature, 2015, April, no 520, pp 429-431
Kazachkovskiy O . D . , Zapiski fizika o voyne i mire [A Physicist's Notes on War and Peace], Obninsk: GNTs RF-FEI, 2010, 494 pp . (In Russian)
Kolotyrkin Ya. M . , Avtobiograficheskie zapiski. Izbrannye statyi i intervyu. Vospominaniya [Autobiographical Notes Selected Articles and Interviews Memories] Moscow: NIFKhI, 2004, 320 pp (In Russian)
Meester W. , Access to Excellent Research: Scopus in Lithuania. 2015 . <http:// serials . lt/wp-content/uploads/2015/03/Meester_Access_to_ Excellent_Research_Scopus_in_Lithuania_Vilnius_20150318. pdf> .
Mervis J. , 'Data Check: U. S . Government Share of Basic Research Funding Falls Below 50 %', Science News, 2017, March 9 . <https://www.
AHTPOnO^OrMHECKMM OOPYM 2019 № 40
84
sciencemag . org/news/2017/03/data-check-us-government-share-basic-research-funding-falls-below-50> . Muller J. Z . , The Tyranny of Metrics. Princeton, NJ: Princeton University
Press, 2018, 240 pp. Müller R. , 'Racing for What? Anticipation and Acceleration in the Work and Career Practices of Academic Life Science Postdocs', Forum: Qualitative Social Science Research, 2014, vol . 15, no . 3 . <http:// www . qualitative-research, net/index . php/fqs/article/view/2245/> . Polterovich V M , Zaostrovtsev A P , Gurvich E T , Volchkova N A , Grigoryev L. M . , Yakovlev A. A. , 'Stimuly dlya akademicheskikh i prikladnykh issledovaniy i formirovanie ekonomicheskogo soob-shchestva (Materialy kruglogo stola v ramkakh XIX Aprelskoy mezh-dunarodnoy nauchnoy konferentsii NIU VShE)' [Incentives for Academic and Applied Research and the Reproduction of the Economic Community (Proceedings of the roundtable discussion at the XIX April international academic conference of HSE], Voprosy ekonomiki, 2018, no . 10, pp . 136—155 . (In Russian) . Ranchin A. , 'Sumerki Prosveshcheniya . Vysshee obrazovanie v sovremennoy Rossii' [Twilight of the Enlightenment. Higher Education in Contemporary Russia], Novyy mir, 2013, no . 7 . <http://magazines. russ. ru/novyi_mi/2013/7/12r.html> . (In Russian) . Rose N . , 'Individualizing Psychology', Shotter J . , Gergen K. (eds . ), Texts of
Identity. London et al . : Sage, 1989, pp . 119-133 . Sharabchiev Yu . T . , 'Rossiyskiy indeks nauchnogo tsitirovaniya eLibrary . ru kak instrument otsenki produktivnosti i znachimosti uchenykh i nauchnykh kollektivov' [The eLibrary. ru Russian Citation Index as an Instrument for the Evaluation of Productivity and Importance of Academics and Academic Groups], Meditsinskie novosti, 2013, no 2, pp 24-28 (In Russian) Shore Ch , 'Audit Culture and Illiberal Governance: Universities and the Politics of Accountability', Anthropological Theory, 2008, vol. 8, no 3, pp 278-298 van Rossum J . , 'Blockchain for Research. Perspectives on a New Paradigm for Scholarly Communication', Digital Science Report, 2017, Nov. <https://doi . org/10 . 6084/m9 . figshare . 5607778> . Voronin N . , 'Nauchnyy skandal goda: uchenye pisali feyk-issledovaniya, chtoby razoblachit lzhenauku' [Academic Acandal of the Year: Scholars Writing Fake Research to Expose Fake Science], BBC News / Russkaya sluzhba, 2018, Oct. 4 . <https://www.bbc . com/ russian/features-45751968> . (In Russian) . Zvorykin A. A. , Kissel E. I . (eds . ), Otsenka deyatelnosti nauchnykh i inzhe-nerno-tekhnicheskikh rabotnikov i uluchshenie ikh ispolzovaniya [An Evaluation of the Techno-scientists' Activities and Improvement of Their Use]: Abstracts of the symposium papers . Moscow: s. n. , 1973, 174 pp . (In Russian) .
