CC BY
34
научная жизнь
влияние наукометрических показателей на исследовательские практики
(семинар центра социолого-науковедческих исследований СПбФ ииЕт ран, 20 апреля 2016 года)
С. А. Душина (канд. филос. наук, руководитель Центра социолого-науковедческих исследований СПбФ ИИЕТ РАН). Уважаемые коллеги, спасибо, что, несмотря на занятость, вы пришли на наше мероприятие. Прежде чем представить спикеров, я бы хотела сказать несколько слов об идее семинара. Мы все понимаем, что наукометрия очень прочно вошла в нашу жизнь и от нее никуда не деться. В начале 2016 года Центром социолого-науковедческих исследований СПбФ ИИЕТ РАН было проведено исследование профессиональной деятельности молодых сотрудников научно-образовательных центров. В выборку вошли молодые исследователи (до 39 лет) петербургских академических институтов и вузов, имеющих дополнительное финансирование, прежде всего от минобрнауки и Рнф. Результаты проведенного исследования показывают, что 80,5 % научных сотрудников имеют публикации в реферативных базах WoS и Scopus, 70 % респондентов при выборе журнала для публикации руководствуются его импакт-фактором. Почти половина опрошенных полагает, что от научной продуктивности, выраженной в метриках, зависит материальное вознаграждение, продление трудового контракта, прохождение по конкурсу и получение грантов. И здесь возникает вопрос, корректно ли менеджеры от науки используют наукометрический инструмент для оценки научной деятельности. Что следует из наукометрии в качестве управленческой стратегии — объективная оценка или благие намерения с непредвиденными последствиями? По нашему мнению, это вопросы, требующие открытого обсуждения. так и родилась идея семинара, который, как мы полагаем, должен быть междисциплинарным — количественные показатели «работают» по-разному в тех или иных дисциплинах. Наши эксперты — представители различных исследовательских областей — канд. физ.-мат. наук, ведущий научный сотрудник лаборатории «Центр алгоритмической биотехнологии» Института трансляционной биомедицины СПбГУ К. В. Вяткина; канд. биол. наук, научный директор Organic Vaccines (Москва) А. А. Тихонов; д-р хим. наук, ученый секретарь Инсти-
тута химии силикатов РАН им. И. В. Гребенщикова (СПб) Л. П. Ефименко; д-р экон. наук, профессор, Инженерно-экономического института Международной высшей школы управления СПбПУ Т. Ю. Хватова; д-р филос. наук, доцент кафедры философии науки и техники Института философии СПбГУ Л. В. Шаповалова. Регламент таков — выступления не более 20 минут, а затем обсуждение.
К. В. Вяткина. Наукометрия в биоинформатике. В настоящее время наукометрические показатели используются для оценки результативности деятельности научных работников во всех без исключения областях знаний. Однако практически для каждой из них характерна своя специфика, которую необходимо принимать во внимание при разработке методов вычисления такой оценки. Попытаемся проиллюстрировать это на примере биоинформатики — науки об алгоритмах для решения задач из области биологии и смежных дисциплин, к основным направлениям которой относятся вычислительная геномика и вычислительная протеомика.
статьи по биоинформатике нередко имеют большое число соавторов, так как для выполнения работы в данной области, как правило, требуются совместные усилия алгоритмистов, биологов или медиков, специалистов, обеспечивающих получение данных (например, масс-спектрометрических или данных геномного секве-нирования), а также технических специалистов — лаборантов или программистов, реализующих готовые решения. Таким образом, в работу над одним исследовательским проектом может быть вовлечено несколько групп специалистов разного профиля. И в то время как профессионалу в соответствующей области не составит труда объективно оценить вклад каждой из них, никакая формальная метрика не станет универсальным средством для получения такой оценки, и тем более — для оценивания личного вклада соавторов.
отдельного упоминания в данном контексте заслуживают обзорные статьи по биоинформатике, число авторов которых порой доходит до сотни. такие обзоры весьма информативны и имеют высокий индекс цитирования, однако оценивать авторский вклад в данном случае, очевидно, следует совершенно другим способом. то же относится и к показателям эффективности работы ученого, вычисляемым с учетом таких публикаций.
Далее, для биоинформатических статей характерно наличие обширного списка литературы. В частности, по этой причине удачная работа может в особенности быстро получить большое количество цитирований — существенно большее, нежели возможно в других, даже достаточно близких областях (например, в теоретической информатике). Но чем больше абсолютное значение, тем сильнее порой оказываются и перекосы. Индекс цитируемости статьи не всегда коррелирует с ее научной ценностью, и на то есть несколько причин. Во-первых, статьи сложные, понятные лишь узкому кругу специалистов, всегда цитируются реже, и здесь это будет особенно хорошо заметно. Во-вторых, традиция ссылаться на большое количество источников может привести к тому, что статья не слишком глубокая, но содержащая упоминания об интересных фактах во вводной части или же какие-либо удачные примеры, привлечет больше внимания и будет чаще цитироваться, прежде всего, за этот счет. Немаловажно также, что на уровень цитирования оказывает влияние форма применения результатов, полученных в работе. Результатом работы специалиста в области биоинформатики является новый метод и его программная реализация. соответственно, популярность статьи напрямую будет зависеть от числа пользователей этой программы. И как следствие, статья, представляющая грамотно
написанный программный инструмент, предназначенный для рутинного использования, получит большее количество цитирований, нежели работа, в которой закладываются фундаментальные основы направления.
Еще одним немаловажным фактором является скорость и цена признания результатов. среди специалистов бытует мнение, что статью в области вычислительной геномики можно подготовить ценой меньших усилий, нежели в области вычислительной протеомики. И это мнение вполне обоснованно: на сегодняшний день направление вычислительной геномики разработано существенно глубже, а технологии секвенирования геномных данных хорошо стандартизованы. И по этой причине специалисты международного уровня в области вычислительной протео-мики нередко переходят в вычислительную геномику. сориентироваться при этом им, как правило, несложно, поскольку, зная протеомику, можно быстро вникнуть в актуальные проблемы геномики, а путей формализовать задачу и достаточно быстро получить результат там оказывается гораздо больше. Естественно, что-то при этом определяется характером человека: для кого-то может быть психологически важно, например, чтобы его усилия приводили к публикациям в кратчайшие сроки. Но чаще решающая роль в подобной ситуации принадлежит именно наукометрии.
Не вызывает сомнений, что наукометрические показатели будут использоваться и, пожалуй, должны использоваться для оценки результативности научной деятельности. Но нельзя забывать, что далеко не всегда они позволяют объективно оценить уровень результатов и профессионализма ученого. Важной составляющей такой оценки, играющей сейчас весьма существенную роль в жизни научного работника, всегда должно оставаться мнение экспертов в соответствующей области знаний.
А. А. Тихонов. Всем добрый день! Спасибо большое, что позвали меня сюда. Я, наверное, чуть поподробнее себя представлю для начала, чтобы было понятно, откуда я здесь. Сейчас я работаю научным директором небольшого биотехнологического стартапа — Organic-Vaccines Plc. Французская компания. Мы занимаемся разработкой лекарств, то есть сейчас я формально не в фундаментальной науке, но я там был. Я — кандидат биологических наук и до того, как ушел в биотехнологии, был нуклеарным биологом. Работал в России какое-то время в достаточно успешной лаборатории, и потом, фактически, в родственной лаборатории в Америке. ушел из фундаментальной науки, в частности, потому что само устройство фундаментальной биологии меня чем-то не устраивало. И наукометрия в этом играет достаточно большую роль. Сейчас я попытаюсь рассказать, что увидел во время своего существования в фундаментальной биологии.
Во-первых, предыдущий докладчик сказал, что статьи по биоинформатике достаточно часто имеют огромное количество авторов. Это в полной мере применимо к биологии. Причем если биоинформатика по определению междисциплинарна (там действительно есть биоинформатики и есть люди, которые производят для них данные), то биологии даже сложно найти такое оправдание. Там все занимаются производством экспериментальных данных, и есть разные способы это объяснить — откуда такое большое количество авторов. Мне кажется, что есть два основных. Бывают огромные лаборатории очень успешных, очень богатых (в смысле грантов, которые они получают) ученых, которые все вместе, всей лабораторией, работают над одним проектом, и тогда понятно, откуда в статье много авторов. А бывает совершенно другая вещь, которая считается очень хорошей — это коллаборация множества
лабораторий, которая должна была бы давать «перекрестное опыление», рождение новых идей. Но вот я очень часто в своей практике видел эту ситуацию следующий образом: есть тысяча методов, огромное количество разных методик, носителями которых являются аспиранты, постдоки, может быть, даже студенты в разных лабораториях. И очень часто статья собирается не из какого-то такого «опыления», общего осмысления проблемы, а просто из того, что половина или 70 % экспериментов «аутсорсится» сторонним лабораториям, и эти сторонние лаборатории — какие-то знакомые профессора, который является последним автором статьи. И такой способ производства статей, с одной стороны, не приводит к тому, что у работников одной лаборатории расширяется список методов, потому что все то, что вы не умеете делать, умеет делать человек из Сан-Диего, который работает в лаборатории знакомого вашего профессора. Вам даже и учиться не нужно. Это плохо, потому что экспериментальная методика — это не просто техника, это не просто какие-то технические навыки, которые вне рамок узкого применения бесполезны.
Это новые подходы, и важно их знать и понимать, как они устроены. И, с другой стороны, такой способ формирования статей приводит к тому, что индекс цитирования повышается у всех участников, у всех профессоров. Если у вас есть статья одного и того же научного «веса», которая сделана в одной лаборатории своими силами, и там восемь или пять авторов, и есть статья такого же веса, в которой шестнадцать, двадцать, сколько угодно авторов, то, с точки зрения формальной наукометрии, вторая статья дает больше цитирований, потому что там просто больше авторов. При этом там не больше научного выхода, не больше, а скорее меньше какого-то образовательного содержания. На жаргоне это называется «статья-помойка», в ней очень-очень много людей. Ну, в общем, понятный тезис: количество — это не совсем коллаборация, это скорее такая сдельная работа. И очень много успешных (по формальным показателям) ученых активно используют такой подход. Если вы посмотрите чуть поглубже, покопаетесь в наукометрических показателях, то окажется, что большое количество высокоцитируемых авторов большую часть своих ссылок набрали, будучи во втором или третьем десятке авторов. И основное количество цитирований к ним «прилетает», потому что у них есть какая-то уникальная методика в лаборатории, которая используется всеми, и это не совсем похоже на то, что мы хотели бы видеть от наукометрических показателей. Это, скорее, такая интересная научная экономика.
Многие вещи в науке «аутсорсятся» за деньги. Вот тот же сиквенс N0. Секве-нирование, его, конечно, делать тяжело. А какое-нибудь более простое секвениро-вание, предыдущих поколений, — регулярно необходимая вещь — сделать очень просто. Вы просто приходите в компанию, в небольшую, и за небольшие деньги получаете там какой-то формально научный труд. очень часто цитата — это аналог тех же самых денег за чуть более сложные исследования, чуть более, чуть менее стандартизованные. Научного содержания в них не то, чтобы больше. Эта грань между такой индустриальной наукой, которая кормится деньгами, а не цитированиями, и академической наукой, которая кормится цитированиями, а через них деньгами, очень часто размывается совсем. Допустим, я в лаборатории, которая по российским меркам считалась довольно хорошей, достаточно много времени потратил на процесс, который называется клонирование. Это не овечек Долли сделать, не мамонта из слона, это гораздо более банальные вещи — это собирание кусочков ДНК в такую конструкцию, с которой потом можно работать. На этот процесс у меня уходило
очень много сил и времени. И долгое время, это, собственно, и было показателем моей научной продуктивности. Я вошел, по-моему, в две статьи, в одну точно, — каким-то третьим, четвертым автором, что довольно неплохо, — именно из-за того, что сделал сложную генетическую конструкцию. Это была абсолютно техническая работа, которая могла бы быть куплена у какой-то компании за не очень большие деньги и никакого бы цитирования этой компании там не было бы. Это очень странно, потому что изнутри кажется, что в биологии очень большая конкуренция, невероятно большая, и цитирования жизненно важны, даже не цитирования — публикации. (Про Хирша и про цитирования чуть попозже скажу.) Этому придается огромное значение, причем всеми участниками процесса — теми людьми, которые находятся в начале академической карьеры, и профессурой, и людьми, которые выдают вам деньги, причем независимо — и в России, и в Америке, где угодно. В биологии все основано на публикациях, и одновременно с этим, если вы находитесь внутри процесса, вы видите, насколько низкая цена, насколько сложно сказать, является ли ваше место в списке авторов «наукой» или «платой» вам за какое-то ремесло, которым вы владеете. Это, наверное, одна часть того, о чем я хотел рассказать.
Другая часть про то, что концентрация наукометрических показателей, помимо общеизвестных проблем (из людей, защитивших кандидатскую диссертацию в Америке по биологии, только 8—10 % получают в итоге профессорскую степень, а остальные «вываливаются» в своей карьере в какое-то непонятное место, в котором они не планировали быть, и это довольно дико) порождает и чуть менее известную «штуку», которая связана даже не с наукометрией, а с процессом получения денег от государства. Я буду рассказывать про американскую ситуацию, потому что я с ней знаком, работал там какое-то время. Профессор, у которого я трудился в России, был американским, на самом деле, профессором. Он был успешным профессором в Америке, с большим количеством денег (поэтому я эту тему немножко знаю), а все остальные — по крайней мере, российская система финансирования — являются плохим «переводом». Как финансируется фундаментальная наука там? Сейчас очень сложно написать статью или заявку на грант в фундаментальной науке, в фундаментальной биологии, не сказав, насколько важно для человечества ваше исследование. Поэтому, если вы занимаетесь фундаментальными механизмами развития рака, то ваши шансы получить деньги больше, чем, если бы вы занимались... не знаю чем... эмбриологией, допустим. концепция чистой науки, которая не связана непосредственно с практической выгодой, из-за невероятно большой конкуренции куда-то делась. Почитайте любую статью по биологии, и вы найдете либо в абстракте, либо в последней части, несколько ключевых фраз, которые как бы приближают эту абстрактную работу к народному хозяйству. Умение писать эти фразы и вставлять их в большом количестве само по себе является важным навыком. к чему это приводит? к тому, что очень мало людей занимаются фундаментальными механизмами, грубо говоря, жизни в сравнении с количеством людей, которые занимаются фундаментальными механизмами поломок этой жизни. сейчас количество людей, которые изучают рак, будучи фундаментальными биологами, велико. они в системе фундаментальной биологии, их спонсируют национальные институты здоровья, они работают на фармкомпании. Это — чистые ученые, их число огромно. Число людей, которые изучают более фундаментальные механизмы, меньше, и это довольно странно.
Я сейчас занимаюсь разработкой лекарств. И по работе читаю огромное количество статей, связанных именно с молекулярными механизмами болезни. Я вижу,
что очень много написано про молекулярные механизмы болезни, но мы очень мало знаем про молекулярные механизмы нормы. Это очень странно. Так не должно быть. Но так происходит, именно из-за того, что норму изучать скучно. Вы никого не вылечите сразу, вы не можете пообещать, что кого-то вылечите, если вы изучаете норму. Есть такой хороший пример: в конце 1980-х открыли белок p53 и сразу поняли, что он очень важен для развития рака. начали активно его исследовать. Вышло несколько десятков тысяч статей, сорок тысяч статей... К сожалению, ответить на все вопросы, которые связаны с этим белком, не удалось. Не потому что он какой-то очень загадочный и не поддающийся изучению, а потому что мы вообще мало знаем про ту часть физиологии клетки, в которой этот белок принимает участие. Но мы пытаемся изучать то, что сломалось, то, что ломается. И там хороший график публикаций, такая кривая Гаусса. Сейчас статьи все еще публикуются, но эта тема уже не считается модной. Понятно, что если 50 000 человек пробовали, то вряд ли вы сможете сделать что-то еще. Вот поэтому я ушел в биотехнологию и теперь никаких публикаций. Наверное, пора заканчивать. Я уже долго говорю.
Из зала: Вы хотели сказать два слова о Хирше.
А. А. Тихонов: Да. Собственно, из-за того, что есть разные по «модности» темы. Вот сейчас появилась CRISPR (Clustered Regulatory Interspaced Short Palindromic Repeats)/Cas9, может быть слышали? Это способ редактирования генома — невероятно модная тема. Это на самом деле механизм адаптивного иммунитета у бактерий к вирусу. так вот. Есть очень модные тематики, в которых производятся высокоцитируемые статьи. и есть тематики не такие модные, где работает меньше исследователей, которые меньше связаны с другими областями, где гораздо меньше статей, меньше цитирований статей. Все это понимают, поэтому кроме самого цитирования, важнейшую роль играет статус журнала, в котором вы опубликовались. Для большинства журналов цитируемость и статус совпадают: Nature, Science — суперцитируемые журналы. Но есть журналы, для которых цитируемость и статус не совпадают. Есть, например, журнал JBC — The Journal of Biological Chemistry, у которого достаточно низкий индекс цитирования — где-то 4, 5, для биологии это не очень много, это, наверное, даже меньше, чем среднее значение. Но это очень статусный журнал, потому что отбор статей в этот журнал устроен по достаточно жестким формальным критериям. Они публикуют все, что соответствует формальным критериям хорошей науки. Они не фильтруют по теме. Вы с трудом опубликуете в журнале Nature исследования антарктического лишайника, а в журнале The Journal of Biological Chemistry, если это все-таки биохимия, вы что-нибудь про лишайник вполне можете опубликовать. и в итоге оказывается, что большое количество прорывных статей, которые оказались важными, были опубликованы именно в JBC. Это интересный такой способ того, как среда борется с чистой наукометрией. Спасибо!
Л. П. Ефименко. Название доклада «Наукометрия: иллюзии и реальность». В информационном сообщении о семинаре — интеллигентные, академические формулировки, которые, на мой взгляд, не ложатся на реальность. Например, позиция: «В управлении наукой наступило время метрик» — да какое это «время метрик» — это время полного чиновничьего беспредела! Далее: «Числовые характеристики становятся выражением научной состоятельности и академического признания». А что такое «академическое признание»? Что стоит за цифрами? Затем: «Как наукометрические показатели "работают" в различных дисциплинах и в направлениях
исследований?» — да не могут они "работать"! Потому что наука — это особая самоорганизующаяся область, где люди работают не за деньги и делают все, что можно и невозможно сделать.
Однако это все не так весело, так как, когда числа попадают на бумагу, то становятся руководством к действию, к принятию административных решений, и мы не раз уже с этим сталкивались. Мое ощущение того, что сейчас происходит в науке, подпадает под известное суждение: «Существует три вида обмана — ложь, наглая ложь и статистика». возьмем, к примеру, мониторинг научных организаций. В настоящее время этим занимаются все. ФАНО России создало за два года уже серию разветвленных систем сводной отчетности. Есть АСУ РИД РАН (автоматизированная система управления результатами интеллектуальной деятельности Российской академии наук). «Веселую» систему изобрел Минобрнауки РФ. Последние годы минобрнауки Рф готовит разные аналитические записки, которые кладутся на стол президента В. В. Путина и в которых сопоставляется эффективность вузов и академических институтов. И всегда оказывается, что вузы — лучше. Откуда берутся эти цифры — неизвестно.
Смотрим, что загружено в систему мониторинга Минобрнауки РФ (8с1епсе-mon.ru). Там все позиции можно анализировать, но возьмем только ключевые. Пункт 2: «Совокупная цитируемость публикаций организации, индексируемых в российских и международных системах научного цитирования». В самой системе — это все, что есть по формулировке понятия цитируемости. Где-то в глубине сайта удается найти «Ответы на часто задаваемые вопросы», которые без чьих-либо подписей. Там ответ на вопрос «что такое цитируемость» сформулирован так: «полное число ссылок на работы организации за последние 5 лет», и яснее не становится. В результате возникает несколько вариантов ответа: раз это отчетный год, то имеется в виду — цитируемость публикаций отчетного года в публикациях, вышедших за 5 лет. Второй вариант тоже имеет право быть: общее число ссылок на публикации, вышедшие за 5 лет, то есть сумма цитирований всех публикаций за последние пять лет. Причем эта цифра уже раза в 2—3 выше, чем первая. Третья возможная интерпретация пункта 2: число цитирований за последние 5 лет всех публикаций организации, имеющихся в базе данных. Эта цифра уже где-то на порядок выше, чем первая. Как можно сопоставлять результативность научных организаций? Цифры могут различаться на порядок.
Другой параметр — пункт 5: «Количество созданных результатов интеллектуальной деятельности». Патенты на изобретения имеют более сложное прохождение, чем публикации. В лучшем случае год-полтора до положительного решения, потом еще несколько месяцев до получения самого патента. Первая версия по количеству охранных результатов: это количество охранных документов в отчетном году (или подано заявок, или получено положительных решений, или получено патентов), то есть результаты одного года. Вторая интерпретация данного пункта — это количество охранных документов, поддерживаемых организацией в силе на 31 декабря отчетного года. Патенты стоят на учете в бухгалтерии, вводятся в списки особо ценного имущества, регистрируются в ЦИТиС, организация платит ежегодные пошлины. При такой формулировке пункта 5 большинство организаций, как видно по статистике, вписывают все патенты, то есть результаты за последние 20 лет. Эти цифры (первая и вторая интерпретация пункта 5) отличаются на порядок, и кто что ввел в систему — дело абсолютно творческое.
В системе Минобрнауки РФ очень интересно сформулирован и средний им-пакт-фактор публикаций. Классически средний импакт-фактор — это среднее арифметическое импакт-факторов всех статей. Это классика. Но Минобрнауки Рф говорит: наша анкета отличается от всех и формулирует: «Журнал должен быть учтен только один раз». Во что тогда это превращается? Это становится просто непонятным показателем. однако тысячи организаций должны тратить время и проводить трудоемкий расчет такого «импакт-фактора». Чем может закончиться все это... С цифрами заканчивается все порой не очень весело.
Например, у нас в отделении химии и наук о материалах РАН есть небольшой институт — человек 200, затерянный где-то на просторах. У этого института абсолютно нет никаких наукометрических показателей — нет публикаций, естественно, нет цитируемости. очень низкие показатели по патентам, они не ездят по заграницам, никого не принимают, да и по нашим конференциям ездят мало и своих мероприятий не проводят. Полное отсутствие показателей, и фАНо России настоятельно рекомендует институту структурироваться. Но здесь все очень просто — этот институт многие годы работает по госзаказам на оборонку. он «закрытый». Все его работы «закрыты». у него дополнительное финансирование равно примерно бюджетному. Это подтвержденный уровень. И вот сейчас этот институт стараются куда-то присоединить. При этом ближайший институт, к которому можно присоединить находится за тысячу километров. И ни в одном из этих потенциальных институтов нет первого отдела, то есть рухнут все государственные заказы, потому что делать первый отдел с нуля — это не просто миллионы, это — особое делопроизводство. фАНо России, конечно, тоже можно понять, у него сверху план по сокращению юридических лиц. Есть, конечно, надежда, что подобные реорганизации будут разумно «тормозиться». Российская академия наук занимает спокойную позицию: обязательный экспертный анализ — что стоит за совокупностью цифр? одна цифра не говорит ни о чем.
Теперь специфика нашей химической области. У нас в Отделении химии и наук о материалах РАН — 21 институт. Года два назад мы готовили анализ для ученого совета института и использовали данные РИНЦ — процент самоцитирования организаций. Это количество ссылок внутри организации, когда ты сам на себя ссылаешься или твои коллеги из ближайшей лаборатории. В наших химических институтах процент самоцитирования составляет 35—60 %, среднее значение — 43 %. Причем это явный, открытый процент самоцитирования. А если учесть, что многие уже давно приняли организационные меры по взаимовыгодному цитированию, то становится ясно, что количество «чистых» ссылок со стороны, внешних, существенно меньше. И это полностью лишает смысла сам показатель цитируемости. Просто в нашей области не принято ссылаться друг на друга.
Традиционно российские химики не ссылаются друг на друга, но работы академиков всегда на виду, их статьи привлекают внимание. Мы провели статистическую работу — посмотрели количественные показатели 29 академиков нашей секции наук о материалах, в том числе данные о количестве соавторов. Все мы знаем, что соавторство в статьях — дело достаточно индивидуальное и в разных институтах, лабораториях традиции разные. Некоторые считают, что руководитель имеет право быть везде, другие, наоборот, полностью отказываются. Индекс Хирша достигается количеством публикаций, и здесь выявлена четкая зависимость — чем больше количество соавторов, тем выше индекс Хирша. У академиков показатель
самоцитирования в основном превышает 40 % и даже доходит до 70—80 %, при этом, чем больше самоцитируемость, тем выше индекс хирша.
Вот известные факты — как индекс хирша работает. Питер хиггс — лауреат Нобелевской премии по физике 2013 г. за предсказание бозона Хиггса. Сибирские физики провели анализ его публикационной активности и опубликовали в информационном бюллетене СО РАН (потом в «Комсомольской правде», Новосибирск, 13.10.2013). Общее количество публикаций Хиггса за всю жизнь — около 20. Из них оригинальных статей — 7 и только две из них имеют индекс цитирования более 2,5 тысяч, остальные — проходные. Формально получается, что Питер Хиггс за свою жизнь выпустил только две востребованные научные работы. Однако они эпохальны. Сибирские физики задают вопрос: «Как бы Питер Хиггс существовал в наших условиях? Ему бы просто не дали ни одного гранта».
Наш математик г. Я. Перельман, доказавший гипотезу Пуанкаре и отказавшийся от миллиона долларов. Его данные в РИНЦ: общее число публикаций в базе РИНЦ — 4, с учетом ссылок — 18, индекс Хирша — 7. Причем сейчас ему 49 лет, то есть почти 30 лет в науке и всего 18 публикаций. Суммарное число цитирований — только 370.
Имя академика Юрия Семеновича Соломонова у нас практически неизвестно. Он «засветился» на последнем Общем собрании Российской академии наук 23 марта 2016 г., когда вышел на трибуну с коротким пятиминутным выступлением. По мировому рейтингу он входит в мировую элиту: создатель современного ракетно-ядерного щита России; генеральный конструктор ракетных комплексов стратегического назначения — «Пионер» «Тополь», «Горн», «Сирена», «Тополь-М», «Ярс», «Булава» и др. Здесь у России техническое превосходство и статус геополитической державы. Вот данные РИНЦ академика Ю. С. Соломонова: индекс Хирша — 6; общее число публикаций — 117, но почти 100 из них — это патенты, число публикаций в российских журналах — только 21. Средний импакт-фактор журналов — 0,536 и что уже совсем неприлично — число публикаций в зарубежных журналах — 0. Ведь сейчас у нас ты не ученый, если не работаешь «под их» руководством. Указом Президента Российской Федерации от 28 апреля 2015 г. № 214 за особые трудовые заслуги перед государством и народом Ю. С. Соломонову присвоено звание Героя Труда Российской Федерации.
завершаю, с чего начала. Третий год идет реформа Российской академии наук. Цели и задачи реформы — неизвестны. Идет развернутый мониторинг научных организаций. Показатели — непонятны. Идет оценка исследователей числами. Смысл этих чисел — неясен. В этой ситуации я буду рада, если наш семинар внесет хоть небольшой вклад в поддержку позиции Российской академии наук по необходимости экспертного анализа результатов и цифр. Благодарю за внимание.
Т. Ю. Хватова. В другом русле у меня сообщение. Я не принадлежу к РАН, я представляю Политехнический университет — это огромный инженерный вуз, в котором учится 30 000 студентов. Сейчас нас объединили в очередной раз еще с несколькими вузами. У нас и название поменялось, то есть то, что было объявлено, уже давно не является реальностью. Вопрос семинара: «Как влияет наукометрия на нашу жизнь?». Ну, я на самом деле боюсь сказать. никак не влияет на нашу жизнь. И не знаю, интересно ли вам слушать дальше.
Я, пожалуй, скажу, но я могу говорить только за себя, то есть представить свое частное мнение, может быть, и мнение моих коллег. Я работаю на инженерно-
экономическом факультете, который институтом называется. Конечно, физики, представители технических дисциплин, программисты, специалисты в биотехнологиях — у них другая реальность. Они всегда публиковались в журналах, у них всегда были международные контакты. Все это есть у них — статьи, которые написаны большими группами, у них — лаборатории, у них — гранты. Что касается гуманитарных дисциплин, то у нас никогда не было ни лабораторий особых, гранты идут обычно либо в Академию наук, потому что традиционно там велись исследования по экономике и гуманитарным дисциплинам, либо в высшую школу экономики — в более статусные заведения, нам не угнаться за ними. И вдруг нас начали измерять три года назад. каждому в контракт записали, что для заключения контракта на следующий срок, нужно обязательно опубликовать столько-то статей в журналах из «списка ВАК», столько-то статей — в РИНЦе, ну и также включили, что рано или поздно должна быть публикация в базе данных SCOPUS или WoS. Ну, публикация в Web of Science является желательной, но не столь обязательной, потому что авторы наукометрических контрактов поняли, что для гуманитария требуется 5 лет для подготовки подобной публикации. Возможно, физики делают публикацию за год. А вот по моему опыту и опыту других людей, которым удалось это сделать, иначе.
В 2010 г. я начала писать некую статью, я еще не знала в то время ни о контрактах, ни о наукометрии, ни о SCOPUS, то есть ни о чем не знала. Познакомились на конференции с одной иностранной коллегой и, как говорится, «замутили» исследование, стали вместе работать с удовольствием. Вдруг через пять лет вышла статья, причем только на публикацию материалов потребовалось три года. Мы писали ее где-то год, в 2011 г. мы ее подали, ее «кидали» из журнала в журнал — это не так, это не так, потом, в 2013 г. ее приняли в один хороший журнал, и два года ее «кидали» из этого журнала к нам обратно, чтобы мы ее доделали. В конце концов, в 2013 г. она была напечатана и в 2014 г. вошла в базу данных SCOPUS. То есть процесс в гуманитарной области выглядит именно так.
Конечно же, невозможно ставить ни зарплату, ни переход на новую должность, ни продление контрактов в зависимость от такой публикации. И это, в общем-то, и не делается. Конечно, у нас, в нашем наукометрическом приложении к контракту есть еще публикация в РИНЦ, но это сделать очень легко, в общем, не представляет сложности. Да, у нас есть некий повышающий коэффициент, который увеличивает нашу базовую зарплату в 1,3, 1,6 и даже в 2 раза. Есть такая у нас практика, но система присвоения коэффициентов является достаточно непрозрачной.
Я знаю, есть люди, которые делают двадцать публикаций в РИНЦ, за каждую публикацию дается 5 очков, они умножают эти двадцать публикация на пять и думают, что они получат коэффициент 2.0, однако этого не происходит. Я считаю, что в принципе эта наукометрическая таблица, которую мы все заполняем каждый год, является достаточно несправедливой потому, что она приравнивает тех людей, которые делают исследования, пишут диссертации, докторские, пишут статьи, к тем людям, которые добросовестно в течение 15—20 лет учат ребят. У нас есть много людей, которые никогда не писали статей, которые действительно писали учебники, брошюры, пособия, делали презентации для студентов. они отдали этому всю свою преподавательскую жизнь, и вдруг им говорят, «а вот вы там госпожа такая-то, вот вы три статьи нам к концу года, пожалуйста, выдайте на английском языке». К сожалению, такие люди, которые не могут за год перестроить себя, получают самый низкий коэффициент и самую маленькую зарплату. Я считаю, что это несправедливо.
Если мы уже начинаем измерять, то нужно измерять по разным критериям. Например, если говорить о западной практике, то там есть различные категории в вузах — это может быть преподаватель-лектор, это может быть преподаватель-исследователь, это может быть преподаватель, выполняющий какую-то административную работу. И каждая группа, вот эта страта преподавателей, профессоров, доцентов, оценивается по своим критериям. Невозможно всех оценивать по одной и той же схеме. Вот это мое такое мнение. Но я с удовольствием отвечу на вопросы, у меня сугубо личный опыт, поэтому в режиме диалога — с удовольствием.
Л. В. Шаповалова1. Наукометрия как превращенная форма научной деятельности. Я хотела бы увидеть в теме, вынесенной в заглавие семинара, не только повод поделиться оценочными суждениями или результатами соответствующих научных (социологических) исследований, которые, безусловно, представляют интерес. Я предлагаю обсудить философскую проблему, которая обнаруживается тогда, когда некоторое положение дел понимается как противоречивое, кроме того, само это противоречие оказывается тем, от которого запросто не отмахнуться, потому что оно определяет условия нашего существования. Наукометрия, будучи тем, что применяется к деятельности ученых и философов, в той мере, в которой они также попадают в пространство научной дисциплинарности, очевидно, влияет на них, определяя исследования во многих смыслах. Наш семинар — не единственное этому подтверждение. Я полагаю, что наукометрия также скрывает в себе противоречие, состоящее в том, что наукометрические процедуры, с одной стороны, своим истоком (естественным и необходимым) имеют саму научную деятельность и, с другой стороны, воспринимаются научным сообществом как «внешние» и «довлеющие». Я полагаю, что, проясняя это противоречие, можно отвечать на явные и неявные вопросы темы нашего семинара и объяснять проблемы, которые возникают при использовании наукометрических показателей.
Что я имею в виду, когда говорю, что наукометрические процедуры изначально связаны с научной деятельностью? Отмечу только один важный момент. Первые работы Ю. Гарфилда, связанные с формализацией баз данных, имели целью облегчить работу ученых, сделать поиск источников, сходных исследований, путей развития собственных идей более простым. Об этом пишет и Дж. Бернал, идеи которого Гарфилд рассматривал как имеющие основополагающее значение для собственных работ. Бернал считал, что позитивная роль индекса цитируемости состоит в том, чтобы засвидетельствовать действительность и оказать поддержку научной коммуникации. В формализованном информационном пространстве ученый может обнаружить неожиданный эффект собственных идей, дополнительное обоснование собственного тезиса, развивающий исследования критический вопрос. Конечно, можно спросить о том, насколько ученому необходимо такое «картографирование собственной империи», — я полагаю, что ответ на этот вопрос отчасти снимается признанием коммуникативной природы научного знания. Если мы с этим утверждением не соглашаемся, нужно заново ставить вопрос о том, что такое современная наука.
1 Выступление подготовлено в рамках реализации проекта, поддержанного РГНФ, «Проблема эффективности научных исследований: философский и исторический контексты». Проект № 15-03-00572.
Позже происходит трансформация значения наукометрических процедур в контекст научной политики, когда то, что было первоначально понято учеными в контексте их собственных целей и задач, начинает использоваться государством в контексте определения эффективности исследований, а также с целью организации управления наукой. То есть наукометрические процедуры могут быть использованы с одной стороны, как инструмент, отвечающий собственным задачам научных исследований и возникший в связи с этими задачами; с другой стороны — как средство оценки эффективности науки, средство, имеющее значение для государства или, скорее, для управленческого аппарата, который не может не быть озабочен проблемой эффективного распределения ограниченных ресурсов между различными, очевидно несравнимыми друг с другом областями исследовательской деятельности. В первом случае речь идет об автономии научного сообщества, для которого наукометрия принадлежит (в большей или меньшей степени) событию научной деятельности, научной коммуникации. Во втором — о превращенной форме, на властный характер которой само научное сообщество часто взирает с сомнением, удивлением и обоснованной критикой.
Отмечу, что порой сами специалисты по наукометрии отмечают, что можно говорить о цитировании как своего рода валюте (способной обмениваться и накапливаться), так и об индикаторе качества. При этом различаются краткие и долгие сроки цитирования. Точно также может быть рассмотрена как индикатор качества процедура рецензирования рукописи в научных журналах, при этом после опубликования статья сразу попадает и в пространство, размеченное количественными показателями.
Насколько не случайно это превращение наукометрии в средство осуществления научной политики, бытия в качестве превращенной формы? Закономерность этого превращения можно понять, если обратить внимание на посредника между автономией научного исследования и гетерономией административной оценки науки. Этот посредник — вопрос о легитимации науки, о признании места науки в общественных отношениях. Проблема легитимации не может не принадлежать самому научному сообществу, приобретающему собственную идентичность через признание. Научное исследование должно быть признано другим научным, а также политическим, экономическим, социальным субъектом, институтом. Борьба за признание науки, как и любого другого значимого общественного субъекта, осуществляется отчасти через репрезентацию, предоставление общественно значимых результатов.
В какой форме «традиционно» представляются эти результаты и что стоит за этой традицией? Анализ соответствующих историко-научных исследований (например, Т. Портер) позволяет сделать вывод о том, что математические способы репрезентации результатов (соответственно, способы легитимации) используются постольку, поскольку позволяют преодолеть субъективизм, возможную заинтересованность личностного, пусть и авторитетного суждения о научном исследовании, зависимость от внутренних дисциплинарных экспертных критериев. Количественные формы представляют собой универсальный язык, на котором можно продемонстрировать сравнительное значение результатов различных исследований любому Другому, претендующему понять их значение.
Следует отметить, что повсеместное вхождение такого рода объективности в науку было вызвано не только стремлением к лучшему суждению. Среди его условий
определяется то, что требование эффективности, предъявляемое к науке извне, часто звучит в условиях относительной внутренней дисциплинарной слабости конкретного научного сообщества, не способного предъявить собственные экспертные суждения как убедительные для любого «аутсайдера». То есть цифры порой оказываются убежищем для тех, кто потерял публичное доверие и право на авторитет. Также имеет значение то, что исследовательские практики «объективно» институционально разъединены и не могут выработать общие содержательные критерии эффективности. Более того, апелляция к математической, формальной экспертизе возможна в контексте отношения научного сообщества с широкими публичными и официальными кругами, что демонстрирует демократические общественные тенденции.
замечу, что важное различие между количественными и качественными показателями оценки эффективности науки и их возможной действенности может быть понято следующим образом. Качественная, экспертная оценка — это та форма оценки исследований, которая понятна самому научному сообществу и, в случае, если экспертное сообщество является признанным, а само конкретное научное сообщество сильным, эта оценка может выступать в качестве достаточного орудия борьбы за легитимность. Количественная оценка — это внешняя форма репрезентации результатов научной деятельности, и здесь «внешнее» значит понятность аутсайдерам и возможность сравнения несравнимых по сути научных исследований.
Итак, количественное выражение результатов научной деятельности не только имеет свои основания в собственном интересе научного сообщества, которое по определению имеет коммуникативную природу, но и оказывается необходимым способом репрезентации исследований в целях легитимации научной деятельности.
Если к этому тезису о легитимации присоединить неслучайный интерес политического субъекта, определяющего распределение средств и озабоченного, скажем, формированием собственного международного имиджа, то мы понимаем, насколько естественно и с охотой государство (и администрация научных учреждений) принимает и начинает использовать те способы репрезентации науки, которые уже имеют место. Активность государства здесь предопределена еще и тем, что данные (количественные) способы репрезентации науки признаны в международном научном сообществе и, следовательно, в той или иной степени гарантируют понимание на международном уровне в случае их использования и признание на международном уровне в случае их возрастания.
Понятно, что негативная оценка количественных показателей измерения научных результатов связана по преимуществу с тем, что они воспринимаются учеными как внешние, то есть не являются производными от собственных экспертных оценок, которые в любом случае приходится квантифицировать для того, чтобы придать статус универсальности или, скажем мягче, понятности. Отсутствие этой производности — разрыв внутренней экспертной оценки и формального измерения извне — отчасти является следствием слабости самого научного сообщества, не способного либо на убедительную экспертную оценку, делающую очевидным значение собственных научных исследований, либо на создание собственного перевода этой экспертной оценки на язык понятный всем (возможно, даже на язык адекватных количественных показателей).
Что может сделать (и, следует отметить, уже делает) научное сообщество в такой ситуации?
Самое главное и сложное — это понять, что конструктивнее всегда работать над собой. Потому нам нужно думать именно о том, что делать научному сообществу, а не администрации или иному осуществляющему научную политику субъекту. Следует формировать и поддерживать сильное научное сообщество, вырабатывающее собственные качественные экспертные критерии оценки. Мы пока слабы, не в последнюю очередь в том, чтобы достаточным образом обосновать собственную необходимость. формирование сильного сообщества предполагает в том числе объединения ученых, создание различного рода обществ и проведение мероприятий, позволяющих вырабатывать общую позицию или, по крайней мере, становиться на путь взаимопонимания.
задача продумывания собственных адекватных способов репрезентации научных исследований включает, на мой взгляд, следующее:
— работу над переводом, то есть формализацией (понятностью) собственных качественных критериев;
— активную презентацию науки в сфере публичности (в виде экспертной деятельности, популяризации, участия в междисциплинарных проектах и т. п.), работу над легитимацией собственного научного сообщества. Конкретные формы такой активности могут быть различными — выступления в СМИ, свободные лекции в сети и на различных открытых площадках и т. п.;
— аргументированную критику существующих процедур измерения науки, поскольку она не основана на решении конкретного научного сообщества и предложение своих, адекватных способов. Некоторые примеры такой критики были продемонстрированы и на нашем семинаре.
Нам следует брать на себя ответственность за то, что происходит. Потому что кому как не ученым понимать, что «каждый народ имеет то правительство, которое заслуживает», и что если мы, в силу тех или иных обстоятельств, уже не можем объяснять мир — потому ли, что он объяснен, или потому, что нам мешают это делать, — то пришло время его изменять.
Обсуждение
Т. И. Юсупова (канд. ист. наук, в. н.с. СПбФ ИИЕТ РАН). Большое спасибо за организацию мероприятия. Безумно интересно, хотя я и далека от этой тематики. Мне показалось, что сегодня есть два главных направления: первое — наукометрия как инструмент администрации для того, чтобы нами управлять и где-то манипулировать, к сожалению, и второе — наукометрия как наша внутренняя проблема, содержание наукометрии, которое прекрасно показано на биологического сообществе, сообществе биоинформатиков. К великому сожалению, нет информации о том, что творится в нашем гуманитарном сообществе. Спасибо письму Совета по науке, которое было разослано, — они без нас разобрались, это замечательно.
Л. В. Шиповалова. Не без нас.
Т. И. Юсупова. Да, но я имею в виду историко-научное сообщество. Я знаю, что там активно работали вузы, востоковеды, у которых есть суперспецифика по учету их исследовательской деятельности. Я хотела сказать о другом. Начиналось это движение наукометрии от нашей внутренней потребности развития научных
коммуникаций. Это репрезентация. Вопрос, прежде всего, наверное, к Л. В. Ши-поваловой. Сейчас работает очень много платформ, которые, как мне кажется, используя наши репрезентации в словах, цифрах, статьях, предлагают нам общение, коммуникацию. Так ли это? И как вы считаете, насколько эти разнообразные появившиеся виртуальные платформы (academia.edu, googlesholar) способны на экспертную оценку наших результатов? Способны ли они влиять на показатели Хирша, цитирования и т. д.? И все-таки мы обращаемся к ним для того, чтобы получить информацию о том, что сделал наш коллега. Каково познавательно-информационное значение этих платформ?
Л. В. Шиповалова. Я полагаю, что экспертная оценка — это дело внутреннего, научного сообщества, однако и это не означает, что всякая оценка субъективна. Просто есть разные понятия объективности, я этим занималась профессионально, и эти моральные аспекты достоверности — вполне объективная достоверность просто внутри научного сообщества. И никакая платформа не обеспечит и не является гарантом экспертной оценки. любая платформа, дающая возможность совмещать присутствие информационных источников разных изданий, есть форма коммуникации и репрезентации своих результатов для другого. А что касается экспертной оценки, то ее осуществляет само научное сообщество, но при этом, мне кажется, что журналы, безусловно, играют очень большую роль. Я — философ, и обеими руками подпишусь под тем, что монография — это важно, но статья тоже важна. Если моя московская коллега опубликовала статью в голландском журнале, где главным редактором является Франк Анкерсмит, очень известный исторический эпистемолог, по которому можно преподавать историческую эпистемологию, и если она получает от главного редактора рецензию, что это «perfect paper», то, безусловно, это объективная оценка. Для всего философского сообщества — нет вопросов. Но вовне это оборачивается количественной оценкой, это журнал с большим импакт-факто-ром. И я этому количеству верю. Но платформы значимы, если бы их не было, как не было бы и удаленного доступа к электронным библиотечным ресурсам, то я бы не узнала состояние проблемы объективности в науке, что о ней пишут иностранные авторы, вернее, мне пришлось бы ехать в библиотеку и тратить много времени на поиск.
Т. Ю. Хватова. Из моего доклада прозвучало, что наукометрические показатели не влияют на индивидуальные практики. Это правда. Но они очень хорошо влияют на продвижение вуза за рубежом. Наш вуз вошел в программу «5—100», и нам сказали, что есть такая наукометрия — повышайте показатели и престиж страны за рубежом. Было принято к сведению. В прошлом году наш вуз вошел в топ-300 благодаря цитируемости статей. Если бы не наукометрия, то трудно было бы заявить о себе. Такова одна из ролей наукометрических показателей.
М. Г. Лазар (д-р филос. наук, профессор, РГГМУ, почетный работник высшего образования РФ, эксперт РФФИ и РГНФ — до 2014 г.). Большое спасибо за организацию семинара, эта тема всех волнует. у меня много накопилось вопросов, но часть их уже пропала. Я выскажу некоторые соображения. Последние десятилетия в мире заметно возросла роль научной бюрократии (государственной, академической, корпоративной) в науке. Но в России она некритично перенимает опыт западных стран в сфере управления и финансирования науки. Эффективность науки понимается весьма по-разному учеными и научной бюрократией: для ученого она — понятие второстепенное, связанное с применением результатов научного
познания на практике, а на первом месте для него находится сам процесс познания, открытия новых черт и связей окружающего мира. Чиновниками от науки она понимается то как максимальное повышение ее продуктивности в виде публикаций, новых методик, патентов и др., то как усиление той или иной функции науки в зависимости от потребностей экономики и политики. В результате при реформировании российской науки происходит подмена целей: целью научного сообщества является, прежде всего, обеспечение исследовательской целостности через экспертизу (то есть оценку степени новизны вклада), в то время как управление научными и образовательными организациями чиновниками нацелено на достижение максимальной эффективности. Управленцы жаждут видеть везде эффективность. А оценивается она преимущественно через количество публикаций, патентов, или через прибыль учреждения.
Однако давно и хорошо известно, что объективная оценка научной деятельности отдельного ученого или научного коллектива является одной из сложнейших проблем с момента появления науки как социального института. В 60-70-е годы хх века в наукометрии (одной из составных частей науковедения), преобладали количественные методы анализа. Появился термин «индекс цитируемости», под которым первоначально понималось количество ссылок на все работы ученого, выполненные им в определенной отрасли науки за определенный период времени. В отечественном и зарубежном науковедении он получил широкое распространение, но параллельно в 1972 году появился другой показатель — импакт-фактор, его ввел в научный оборот Ю. Гарфилд (J. Garfield), который также учитывал количество цитируемости статей опубликованных в научном журнале. Этот показатель получил название своего изобретателя.
Но за последние десять лет наиболее обсуждаемым и применяемым наукометрическим индикатором во всех отраслях науки стал предложенный в 2005 г. американским физиком хорхе хиршем и получившим название «индекс хирша», или h-index, который затмил практически все остальные. Его удобство в том, что он всегда положительное число, которое не может превышать общее количество опубликованных ученым работ. Проблема в том, что он так же искажает реальную картину статуса ученого и его вклада в науку, как и остальные, и в выступлениях участников семинара были приведены убедительные примеры его непригодности. Тем не менее и в зарубежных странах, и в России все управленцы от науки пользуются им. Они же, как в кривом зеркале, своими представлениями о том, «кто есть кто» в науке, выносят вердикт относительно значимости того или иного исследователя, Нии или университета в виде волевых решений, принятых на базе разных показателей. Вспомним недавнее объявление «неэффективным» вузом «контролерами» от образования Академии русского балета им. Вагановой. В высшем образовании России имеются свои традиции: на первое место в вузах все-таки ставится образование, подготовка специалистов, а не наука. Нынче в университетах тоже имеет место подмена целей: не качественная подготовка кадров и наука, а повышение их места в мировых рейтингах.
В России реформа науки и высшего образования осуществляется на фоне постоянного снижения базового госбюджетного финансирования науки и образования. Это пагубно сказалось на состоянии фундаментальной науки, которая чиновникам от науки не нужна, ибо на нее у «бедной» власти России денег нет. Во многих университетах Европы, особенно в Германии, усиливается критика существующих
рейтинговых систем, в частности WUR (World University Rankings), в результате чего многие университеты германии отказывались участвовать в нем. В ответ на критику Европейский совет поддержал создание нового Европейского рейтинга университетов — U-Multirank. Правительство России среагировало и разработало Стратегию повышения глобальной конкурентоспособности российских вузов, программу «5—100—2020», согласно которой 15 вузов страны должны войти в топ-200, а 5 из них — в топ-100 мировых рейтингов к 2020 г. В 2013—2014 годах только МГУ вошел в топ-100 в Шанхайском рейтинге (79-е место) и в топ-200 в рейтинге QS (120-е место). Спрашивается: ради чего это делается? Изменит ли все это бедствующее, нищее состояние большинства университетов страны? Не лучше ли реально обновить оборудование лабораторий, создать нормальные условия работы ученых-преподавателей во всех вузах страны. Я не разделяю точку зрения и оптимизм докладчицы из СПбГУ Л. В. Шиповаловой, так как в России научное сообщество бессильно перед властью чиновников, для которых на первом месте — умение рапортовать об успехах и стремление заработать как можно больше денег.
действительно, в науке и образовании, вследствие усиливающегося год от года увлечения наукометрическими показателями, и в самом деле сложилась неоднозначная ситуация, можно сказать, даже тревожная тенденция. В перспективе она может привести к вырождению фундаментальной науки, со всеми вытекающими отсюда последствиями, одно из которых науковеды уже констатировали: потеря российской наукой лидирующих мест во многих отраслях. Науковедение давно подсказало властям свой вывод: фундаментальная наука в России не может быть прибыльной, она должна финансироваться государством, она — достояние всего государства.
мой вывод: в увлечении рейтингами, в злоупотреблении количественными показателями не наукометрия виновата, а усиливающаяся власть чиновников в государстве и науке. Виновато отсутствие достаточного для нормального научного прогресса базового финансирования науки и образования, скудость технологического перевооружения науки и образования, скудость зарплат ученых, отсутствие прозрачности в принятии решений по реформированию науки и образования, то есть отсутствие развитого гражданского общества и контроля над чиновничьей властью, не только в науке.
С. А. Душина. Спасибо, Михай Гаврилович. Это «крик души». У меня есть конкретный вопрос к А. А. Тихонову. В своем выступлении вы говорили о «статьях-помойках». Могут быть они опубликованы в журналах с высоким импакт-фактором?
А. А. Тихонов: Конечно, могут. Это говорит про метод производства, а не про качество. Это может быть очень хорошая статья, но все равно вы там занимаетесь чем-то техническим, узким. Про качество работ это ничего не говорит. Скорее, наоборот, может быть, высокоцитируемые статьи в хороших журналах часто делаются социально успешными профессорами, которые обладают широкой сетью коллабораций, которые способны обладать доступом к большому количеству методов за счет научных коллабораций. Статья с авторством из 20 человек, где каждый человек в середине списка занимался одним своим методом, поставленным на поток, может быть хорошей из-за методологической важности. Качество напрямую, наверное, с этим не связано. Это интересный способ «набора» собственного индекса цитируемости.
Н. М. Чубова (м. н.с., ПИЯФ, НИЦ «Курчатовский институт»). У нас эти статьи называются «братскими могилами». Я говорю о физиках. У нас в институте есть отделение, где работают исследователи, которые ищут бозон хиггса. Вот у них зачастую статьи с «братскими могилами», когда авторов очень много, и список авторов
достигает двух страниц. Возникает вопрос о том, что каждый сделал. Это интернациональные коллаборации. Они включаются больше в коллаборационную работу, чем в сам научный процесс. Это специфика современной работы. Но я работаю в более узкой области, у нас список авторов поменьше, более семи не бывает.
А. И. Ермолаев (канд. биол. наук, с. н.с., СПбФ ИИЕТ РАН). Я по образованию биолог и долгое время работал в генетике. Что касается нашей отечественной практики применения всех этих индексов, я совершенно согласен с коллегой из института химии силикатов Л. П. Ефименко, что зачастую это «ложь, наглая ложь и статистика». Я в нашем институте курирую вопросы, связанные с РИНЦ, и знаю, как все это делается, причем без каких-либо подлогов. Но если там не работать, то индекс будет — 2, 3, 4. А вот если работать с этой базой, то индексы повышаются. Просто так, «автоматом», индексы не растут. Надо либо платить деньги кому-то и куда-то, либо организовывать в институте собственную службу. Но это только узкая часть, касающаяся нашей страны. Может, там за рубежом все хорошо? Да я считаю, что нет. Я считаю, что все эти наукометрические индексы — это показатели вовсе не научного значения того или иного исследования, а его популярности и востребованности. И не более. Аналогом здесь может быть попытка оценивать талант автора художественного произведения по тиражам его книг. И тогда мы будем считать Дарью Донцову самым гениальным автором современности. Вы понимаете, что это не так. К таким же результатам приводят наукометрические показатели. Наукометрия — это: А) подсобный инструмент для определения востребованности обществом того или иного исследования. И не более. И он не может быть основным. И я тут согласен, что должна быть экспертная оценка. Будем считать, что наукометрия — это подсобный начальный инструмент. Б) Наукометрия должна работать только в прикладных областях. Это в принципе не должно работать в фундаментальной науке. И точно также, даже с учетом всех этих новаций, это будет плохо работать в гуманитарной науке. Я хочу напомнить, что все это началось не сейчас. Попытка уходить в количественные показатели началась несколько раньше. Их начинают использовать с конца 70-х годов. На рубеже 80-90-х годов я состоял в группе преподавателей, разрабатывающей первые тесты вступительных экзаменов по биологии в Казанском университете, где я тогда работал. По математике они уже были. Мы пришли к тому, что эти тесты прекрасно работают на середнячка. Они дают резкий «провис» на действительно талантливых абитуриентах. Простите, они для них не приспособлены. По нашей задумке, это должен быть первый этап двухэтапного экзамена: первый, тестовый, отсекает шлак, а дальше — нормальный экзамен в виде беседы. И с наукометрией то же самое. Это не работает на значительных достижениях, но работает на оценке средних, уверенных, практических работ, чаще всего, по методике. Вот такой вывод: вся это наукометрия — прокрустово ложе, в которую науку загонять нельзя. Она — один из инструментов. Спасибо за внимание.
Г. А. Николаенко (м. н.с. СПбФ ИИЕТ РАН). Хотел бы сказать по трем пунктам достаточно кратко. Первый пункт: здесь уже упоминались такие базы данных, как academia.education, google scholar и так далее. Хочу только добавить, что там действительно главный плюс в том, что это не столько экспертная оценка, как это ожидается от РИНЦ, сколько площадка для коммуникаций. И как площадка для коммуникации она значительно более эффективна. Могу это подтвердить на основании личного опыта: одна и та же моя статья в РИНЦ и в academia.education имеют разницу в обращениях к ней в десятки, а иногда даже в сотни раз. Самая большая разница,
которую я заметил, — это что-то чуть менее 50 обращений в РИНЦ и хорошо за 1000 в асаёет1а.еёисаИоп на абсолютно один и тот же идентичный рёГ-файл.
Второй пункт — собственно, по поводу РИНЦ. Хочу сказать, почему я терпеть не могу РИНЦ. Терпеть не могу РИНЦ я по одной простой причине: потому что это (и здесь уже подобный термин всплывал) — «братская могила», но братская могила уже не в рамках одной статьи, это братская могила спекулянтов и в о-о-очень большом количестве. Сейчас я пишу магистерскую диссертацию. Проблема заключалась в том, что монографий, каких-то серьезных теоретических работ по этой теме еще нет. Пришлось искать публикации, в основном зарубежные, но и в России что-то появляется. зарываясь в РИНЦ значительно глубже, чем это делаю обычно, наткнулся на какое-то неисчислимое количество абсолютно официально, осознанно подставных журналов, где в редакции может быть, условно говоря, один функционирующий человек, который сидит на телефоне. Оформляется юридическое лицо, дальше уже ставший стандартом ценник 350 рублей за 5 страниц и выпускается чуть ли не 4 раза в месяц. Такие журналы, абсолютно «резиновые», потому что нигде не печатаются, и даже к издательству толком не приписаны, являясь (выражаясь языком Бодрий-яра) даже не то что симулякрами, а каким-то симулякром симулякра, воспроизводят сумасшедшее количество статей. Я открыл один из таких электронных журналов и насчитал 27 публикаций в одном журнале одного и того же автора, то есть человек взял и сделал себе 27 РИНЦевских публикаций (они ровно по 5 страничек, зачем переплачивать). А больше всего мне понравился тот факт, что этот человек вхож в Государственную Думу нынешнего созыва, а публикации, по названиям, посвящены антикризисному управлению. Иными словами, какой-то человек, за короткое время день — неделю, месяц — сделал себе некоторую репутацию, не в научном сообществе, а в сообществе, коллег по политическому цеху, где просто показав список публикаций по тематике антикризисного управления, он становится чуть ли не главным экспертом во всей Государственной Думе. И таких людей очень много не только в Государственной Думе, но и в системе образования, в бизнесе и т. д.
Собственно, вот что я хотел добавить. Можно тоже охарактеризовать, как «крик души», никто эти виды спекуляций не упоминал, упоминали другие виды спекуляций: мы прекрасно знаем, как можно вписаться на правах редактора и получать «от-сылочки», но есть еще спекуляции с подставными источниками. Одна из главных проблем РИНЦ в том, что в РИНЦ может войти кто угодно, и нет никакого отбора всех изданий, которые входят в РИНЦ. Таким образом.
(Комментарий: есть отбор — финансовый)
Незначительный. Эти подставные журналы окупают себя моментально, 350 рублей за статью, примерно 50—100 статей в один выпуск, 4 выпуска в месяц. Они делают несколько сотен тысяч в месяц.
Е. А. Иванова (СПбНЦ РАН). Я совершенно не разделяю оптимизма Л. В. Ши-поваловой из СПбГУ. Дело не в том, что наше научное сообщество слабое, а в том, что мы испытываем колоссальное давление спекуляций. Надо определенно выяснить, в каких исследовательских областях возможна наукометрия. У нас в стране наука оказалась в тяжелом положении: недофинансирование, нет запроса от индустрии. Должны быть иные критерии оценки, помимо наукометрического.
М. Г. Лазар. Могут быть и показатели высокие, а науки-то может и не быть.
Л. В. Шиповалова. Я скорее не оптимистка, а реалистка. Мой реализм заключается в том, чтобы не обвинять кого-то, а работать самим. Отвечая на вопрос «Кто
виноват?» — да, у нас очень сложная история — но наша проблема в том, что мы слабые. Я не знаю, как в вашей науке, но в философии — мы слабые. Я полагаю, что для Оксфордского университета в этом смысле нет проблем — они не обсуждают проблему наукометрических показателей. Потому что они сильные. Гарвардский университет официально принял решение о выходе из системы рейтингования, потому что это отнимает средства и время. Но почему они могут себе это позволить? Потому что они достаточно сильны, и им безразлично, будут ли они в рейтинге, потому что те, кто будет выбирать, где учиться, все равно выберут их. Они знают, где работают сильные специалисты. Потому я и говорила — давайте создавать сильные сообщества. Научное сообщество должно объединяться. Я представляю кафедру философии науки. И месяц назад в Москве был съезд — историков и философов науки. И я очень надеюсь, что это послужит координации усилий научного сообщества. Мы должны над этим работать.
С. А. Душина. Что мы и делаем. Надеемся, наш семинар — маленький вклад в эту работу. Прозвучавшие здесь суждения определенно совпадают с позициями, сформулированными в лейденском манифесте, который был принят в сентябре 2014 г. в Лейдене (Нидерланды) по итогам 19-й Международной конференции по индикаторам науки и технологий. Кстати, один из разработчиков этого манифеста — известный профессор наукометрии Пол Вотерс (Paul Wouters) — выступал здесь, в этом здании СПбНЦ РАН в 2012 г. на семинаре Европейской социологической ассоциации, организованном совместно с нашим Центром. Наукометры, обеспокоенные злоупотреблениями метриками со стороны менеджеров и администраторов, указывают на необходимость дополнения количественной оценки качественной, экспертной. Это первое и главное положение. Обращает на себя внимание невозможность унификации — при оценке научной деятельности следует учитывать исследовательские задачи организации или научной группы, а также дисциплинарные особенности — практика публикаций и цитирований отличаются в зависимости от направлений исследований. Еще одна существенная деталь — важность научных исследований, имеющих региональную привязку. Журналы с высоким импакт-фактором, ориентированные на глобальную аудиторию, не заинтересованы в публикации исследовательских работ, ориентированных на локальные проблемы. Так что «локальные» исследования заведомо будут иметь более низкие рейтинги. Это только некоторые положения из Лейденского манифеста, непосредственно соотносящиеся с тем, что было сказано сейчас.
А. А. Тихонов. Здесь многократно звучало такое противопоставление: есть «научное сообщество», которое в самом себе что-то понимает, и наукометрия, которая часто становится внешней, но может быть и внутренней. Наукометрия — это очень сильная редукция того, что происходит в научном сообществе, это упрощение, это искажает суть того, что происходит в каждой конкретной науке, общий метод нельзя применять к каждой области. У меня такое ощущение, что царство наукометрии оттого, что научного сообщества, которое бы само понимало, что такое хорошая публикация, а что — плохая, такого научного сообщества нет. Я с биологией «дружусь». И то, с чем я столкнулся, это проблема масштаба. за день в самых крутых журналах, которые надо читать каждому биологу, публикуется невероятное количество статей. Вы никогда не успеете их прочитать, даже если вы будете тратить на них 100 % своего времени. Если вы будете сидеть и читать статьи только из своей области, вы тоже не успеете работать. Биология — большая, сильно раздутая наука, но мне кажется,
что во всех науках это тоже так. Просто масштаб «неперевариваемый». Нельзя осознать, что происходит внутри науки, если вы в ней работаете. Вы либо работаете, либо осознаете, что в ней происходит, и формируете какие-то сообщества. Единственные науки, у которых нет проблем с наукометрией, это те, которые близко стоят к практическому воплощению того, что они делают. Много ли наукометрических проблем у информатики? Она им не нужна. Грубо говоря, если вы открыли что-то в физике, то, возможно себе представить путь, реализацию того, что вы открыли на благо общества. Вы открыли что-то в физике элементарных частиц, и стало возможным построить термоядерный реактор. Если вы открываете что-то в биологии сейчас, то вы ничего не можете с этим сделать. Есть большое количество наук (и биология в том числе), которые дают что-то в виде публикаций, а выхода реального дают очень мало. Большее количество лекарств, которые мы употребляем, никак не связано с биологическим исследованием. Никак. Я удивился, когда это понял. может, сейчас, последние лет 30, лекарства начинают делаться с учетом биологических исследований. И поверьте, это очень плохая индустрия, неэффективная, страшно дорогая и прочее. мне кажется все мы, извне и изнутри, воспринимаем науку как черный ящик волшебный, на который льют из лейки деньги, и этот ящик выдает чудо. И никто не знает, как это «чудо» внутри работает. И наукометрия — это отчаянный крик души управленцев, которые пытаются заставить это хоть как-то работать. Честно говоря, у меня такое вот впечатление. говоря о «сообществе», мы все себя немножко обманываем.
Л. В. Шиповалова. А что нужно делать государству, без всяких оправданий, которому надо делить деньги, если денег на всех не хватает? Кому дать — биологу, физику или историку? мы можем это критиковать, но мы должны с этим считаться. мы живем в системе с ограниченными ресурсами. Биолог ничего не напишет, если ему не заплатят, если у него не будет приборов, базы и т. д. Это деньги, они приходят извне, а это уже количество.
Т. И. Юсупова. Да, позвольте спеть, как ни странно, «дифирамб» наукометрическим методам! Я почти 16 лет работала ученым секретарем в СПбФ ИИЕТ РАН и имею огромные статистические данные по количеству и внешней оценке качества изданий. РИНЦ встряхнул нас. Это прекрасная база данных, которая дает возможность понять, что мы собой представляем в публикационном отношении, и позволяет найти публикации и посмотреть. Несомненно, мы живем в условиях ограниченного государственного финансирования и должны играть по этим правилам. как мы играем? Я смотрю публикацию своих замечательных коллег, и, не читая ее, могу сказать, на каком уровне она написана по количеству ссылок, по количеству приведенной литературы в списке. В РИНЦ это все хорошо представлено. Наше историко-научное сообщество в большинстве своем сейчас маргинально, за редчайшим исключением. РИНЦ позволил при многих наукометрических негативах оценить себя со стороны. И в написании грантов сейчас это хорошо используется.
Л. П. Ефименко. Мы под конец заседания подобрались к сути проблемы: государство не знает, как делить деньги, и нужен какой-то принцип, поэтому нужны цифры. Проблема-то не в этом. Должны быть государственные задача, государственные проекты, как были раньше: космос, «Буран», подводные лодки. Если бы эти задачи были, то силы всех наук, были бы направлены на их решение. И было бы ясно, как делить деньги.
Л. В. Шиповалова. Цели формирует само научное сообщество.
sociology of science and technology. 2016. Volume 7. No. 3
183
А. А. Тихонов. Есть существенное различие между прикладной и фундаментальной наукой. Цели можно выставлять только прикладной науке, фундаментальной — невозможно.
Л. П. Ефименко. Согласна, но когда есть крупные, многолетние проекты, тогда есть наука.
А. А. Тихонов. Но проекты — это уже не совсем наука. Я хочу донести мысль о «сильном научном сообществе». Здесь биологов называли «сильным научным сообществом». Но я этого не вижу. Я не вижу, чтобы оно само что-то формулировало. Как стала модной тема с СЯКРЯ, с адаптивным иммунитетом бактерий? Это просто круто. Просто все (биологи) поняли, что мы открыли новый большой механизм, и лаборатории начали этим заниматься, но потом случилось важное событие: оказалось, что эту фундаментальную, никакого отношения к практике не имеющую систему адаптивного иммунитета бактерий можно использовать как инструмент для редактирования человеческого генома, любого генома. И в этот момент тема стала суперпопулярной и важной, и сейчас это даже не наука, а скорее индустрия.
Т. И. Юсупова. Но донесло это научное сообщество?
А. А. Тихонов. Нет, оно ничего не донесло. Оно «тыкало» случайным образом. Оказалось, что эту вещь можно использовать как инструмент. Это — не целеполага-ние научного сообщества.
Л. В. Шиповалова. Заказ любой должен ориентироваться на то, что уже в науке есть. Не может быть заказа в отношении того, чего нет. Цель исходит из того, что уже есть в науке.
Л. П. Ефименко. Нет. Последний проект, который у нас был в стране — это «Буран». Более 10 лет тысячи организаций работали на достижение одной цели. Ни одной зарубежной детали, все новое, все делалось с нуля. Все разработки новые. Наш институт участвовал: через 10 лет — это покрытие «на носу» «Бурана», которое прорезает атмосферу. Не было исходно этого. Была поставлена задача — сделать материал. И так делали все. И сколько там было теоретических (ну, не фундаментальных) разработок!
Сейчас у нас много проектов, но ключевой момент — как получать деньги. Это классика! Наноматериалы. Это сверхпроводимость низких температур. Да все понимали, что ее нет, не может быть. Но это был красивый проект, под который были взяты колоссальные деньги. Да, в этом что-то есть — популяризация народу, чтобы эффектно выглядело, а главное — получение денег. Об этом можно много говорить. Суть — получение денег от государства на науку через проекты, но не благодаря количественным показателям.
С. А. Душина. Уважаемые коллеги, наша дискуссия уже выходит за рамки главной темы, а время, отведенное на мероприятие, заканчивается. Мы опубликуем материалы состоявшегося заседания в нашем журнале «Социология науки и технологий». Скорее всего, власть, администрация не услышит нас, но, возможно, научное сообщество, о котором сегодня много говорили, примет во внимание состоявшееся обсуждение и продолжит эту тему в статьях и докладах. Большое спасибо всем за участие!
Материалы семинара подготовлены к публикации во исполнение задания по проекту «Современные подходы к управлению наукой» (0002-2015-0026) по программе фундаментальных исследований Президиума РАН «Исследование исторического процесса развития науки и техники в России: место в мировом научном сообществе: социальные и структурные трансформации» на 2016—2017 годы С. А. Душиной, Е. В. Евсиковой, В. М. Ломовицкой, Г. А. Николаенко.
