CC BY
60
УДК 001.38 + 001.94 ББК 72.4+73.4
БИБЛИОМЕТРИЧЕСКИЙ АЗАРТ КАК СЛЕДСТВИЕ ОТСУТСТВИЯ НАУЧНОЙ ЭКСПЕРТИЗЫ1
Фейгельман М. В.
(Институт теоретической физики им. Л. Д. Ландау РАН, Москва)
Цирлина Г. А.
(Химический факультет МГУ, Москва)
Представления авторов о проблеме научной экспертизы и способах ее решения в нынешних российских условиях изложены в ранее опубликованных материалах [2-6] и отчасти конкретно реализованы в инициативном проекте «Корпус экспертов». В этом кратком сообщении поясняются причины возникновения такого проекта и степень его совместимости с другими подходами к оценке научной результативности.
Ключевые слова: научная экспертиза, классификаторы, научные публикации, цитирование.
1. Общий фон и тенденции
Еще пять лет назад авторам не могло прийти в голову, что им придется иметь отношение к «библиометрии». Будучи по профессии научными работниками, авторы никогда не сомневались в том, что оценка результатов и квалификации в их сфере деятельности может быть только экспертной. Такая оценка ра-
1 Путевые заметки проекта «Корпус экспертов по естественным наукам » (http://www. expertcorps. ги/).
2 Михаил Викторович Фейгельман, доктор физико-математических наук, feigel@landau. ас. ги.
3 Галина Александровна Цирлина, доктор химических наук, tsir@elch. ^ет. тій. ги.
зумным образом производится как минимум в двух в устойчиво существующих формах:
- научный семинар (который часто не принимает никаких решений, но оценку рассказанного докладчиком дает по сумме вопросов и комментариев участников);
- публикация в научном журнале (здесь и далее мы имеем в виду только журналы, в которых принята процедура peer-review, остальные в естественных науках за журналы не считаются).
В обоих случаях состав потенциальных участников оценки работы не фиксирован, а «качество» производимой оценки контролируется более-менее коллективно и практически без всяких прописей.
Процедуры защит диссертаций и, тем более, плановых аттестаций (даже называемых иногда «конкурсами») уже в куда меньшей степени воспринимаются как способ объективной оценки, и, по крайней мере, во многих научных организациях они такой оценки давно уже не дают. Почему - легко понять: в этих процедурах зафиксированы число и персональный состав людей, выносящих решение, и часто эта фиксация производится по административным признакам и формальным званиям (такие правила отбора куда легче сформулировать, чем профессиональные критерии). Бывают случаи вполне надежной оценки и по таким процедурам - если в организации есть традиция «пропускать» любого соискателя через настоящий научный семинар и если есть еще для такого семинара критическая масса квалифицированных людей. Однако на другом конце шкалы оценок диссертаций уже случается и просто криминал [1].
Еще более сомнительной является процедура «формирования научной элиты» при выборах в РАН - она испортилась очень давно, когда этот клуб назывался АН СССР. В этом случае все предшествующие решения навсегда определяют последующие, поскольку оценка дается только пожизненными членами клуба. Динамика «качества» при этом может быть только отрицательной, но характерное время деградации сильно зависит от стартового состава выборки и от традиции внутренних обсуждений. Как показал сравнительный анализ по отделениям РАН [3, стр. 10-21], в некоторых из них «элита» (академики и
члены-корреспонденты) стала уже сильно отставать от многих «рядовых» сотрудников институтов РАН.
В 1990-е годы в нашей профессиональной жизни возникло новое для России явление - благодаря созданию РФФИ оказалось возможным подавать научные проекты и получать (пусть и небольшое, но целевое) финансирование. К моменту создания РФФИ еще вовсе не все тут испортилось, и оценка проектов во многих секциях производилась относительно широким кругом людей. Однако и этот, до сих пор лучший в стране, научный фонд был далеко не свободен от авторитетов, административных воздействий и гипнотического действия «научных званий», поэтому портился вместе со всей окружающей его средой.
В общем виде причину деградации можно сформулировать очень коротко: отсутствие научной экспертизы. Когда все уже испортилось очень сильно - так, что этого обстоятельства не могут игнорировать даже матерые научные функционеры - взамен такой экспертизы было найдено и широко разрекламировано чудодейственное лекарство под названием «библиометрия». Этот препарат имеет много побочных действий и плохо совместим с хроническими заболеваниями и даже просто с индивидуальными особенностями ряда профильных научных сообществ, но прописан нынче всем без исключения и употребляется часто без наблюдения специалистов. Надо сказать, что данным препаратом увлекаются и западные функционеры, поэтому массовое лечение библиометрией легко выдается за «внедрение прогрессивного международного опыта». Причина всеобщего увлечения довольно понятна: использование якобы объективных цифр позволяет сделать вид, что удалось избежать принятия конкретными людьми содержательных решений (за которые кое-где еще и надо потом иногда отвечать - но это уже к нашей стране не относится).
Авторы являются не противниками библиометрии, а сторонниками ее адекватного использования. Таковое возможно, если библиометрические показатели используются как частный инструмент в продуманной системе поиска и выбора научных экспертов, в организации оценок и конкурсных процедур именно экспертным способом. Для продвижения в указанном направлении и был в 2007 году затеян проект «Корпус экспертов по естественным
наукам». В этом проекте библиометрические показатели (индексы цитирования, CI) имеют исключительно пороговый смысл и сами по себе не гарантируют признания того или иного специалиста заслуживающим профессионального доверия. Они лишь играют роль первичного квалификационного фильтра для составления выборки рекомендателей. Коллективное суждение цитируемых спе-цалистов формирует экспертный пул, который может включать уже людей с любыми СІ, если коллеги сочли их компетентными. Такой фильтр неплохо настроен, поскольку косвенно отражает многолетние результаты процедур peer-review в совершенно разных научных журналах, в значительной степени международных. Если использовать для выбора рекомендателей, как неоднократно предлагалось, ученые степени («рекомендатели - все доктора наук» и т.п.), то фильтр оказался бы куда хуже - в его предыстории были бы заложены все перекосы, накопившиеся в российской системе научной аттестации.
Все написанное выше и ниже относится к естественным наукам. В гуманитарных науках существуют совершенно иные публикационные традиции, и реализация рекомендательного механизма выбора научных экспертов (если она вообще возможна) должна быть устроена как-то иначе. Об этих видах деятельности авторы не берутся судить. Более существенно, что практически испытанный в проекте «Корпус экспертов» алгоритм пока плохо работает для технических наук и ряда прикладных ветвей естественных наук, а они важны в долгосрочной перспективе (которая определяется уровнем технологий). Возможность «трансляции» алгоритма, используемого в проекте «Корпуса», на отдельные разделы естественных наук, математику и прикладные дисциплины с традиционно низкой публикационной активностью мы рассматриваем как важнейшее направление работы в ближайшем будущем.
А пока - о некоторых впечатлениях от пятилетнего «сканирования» тех областей, которые наглядно проявляются в научной периодике и отражаются в ее отчасти кривых зеркалах -Web of Science (WoS), Scopus и т.п.
2. Даже если формальные показатели не абсолютизировать, их нужно уметь правильно считать
Когда мы впервые обнаружили существование WoS, то сначала подумали, что это такой способ поиска научной информации, средство для облегчения научного труда в условиях возрастающего информационного потока. А что там сбоку написано «Cited: N раз» - так это просто обозначение - куда нажимать, чтобы увидеть работы, продолжавшие тематику заинтересовавшей статьи. Это было, конечно, очень наивно. Потому что когда в WoS смотрят люди, не интересующиеся содержанием статей, эта самая цифра N и является предметом их интереса. Такие люди называют себя «библиометристы», а иногда даже «наукометристы».
Откуда они взялись, чему и где обучались раньше - обычно нам неведомо. И чем больше подписок на WoS продает российским организациям Thomson Reuters - тем больше становится библиометристов. Их тяжкий труд по сведению N в разнообразные таблицы все больше востребован, поскольку прикрывает разнообразные инновации в области реформирования науки и образования. Некоторым не хватает WoS, и они создают РИНЦ, от чего на библиометрическом поле возникает уже полная неразбериха. Появляются авторы с выдающимися показателями по WoS, которых не видит РИНЦ (показатели цитирования в РИНЦ часто оказываются в десятки раз ниже, чем у того же человека по сведениям WoS), а бывает и наоборот.
Однако постараемся временно забыть одиозный РИНЦ и ограничиться проблемами обработки данных WoS, которые можно условно разделить на три группы.
(1) Тривиальные проблемы связаны с формулировкой условия автоматического поиска и «очистки» полученных данных от лишней информации. При попытке получить сведения о цитировании по институтам, городам или источникам поддержки исследований часть информации пропускается, и получается заниженный результат, потому что невозможно предугадать всех вариантов написания соответствующих названий, включая
варианты с опечатками. Конечно в больших массивах доля статей, для которых в обсуждаемых полях допущены опечатки, невелика (хотя среди них могут быть высокоцитируемые). Однако кроме опечаток бывают еще проблемы перевода, из-за разнообразия которых число часто употребляемы вариантов резко возрастает (РФФИ - «Fund» или «Foundation»; «...for Basic», «...of Basic», «.for Fundamental», «.of Fundamental», и т.п., не говоря уже об артиклях, которые российские авторы расставляют довольно смело) - и каждый из вариантов встречается в далеко не единичных случаях. В принципе синтаксис WoS позволяет предусмотреть разветвленные формулы поиска, но чтобы корректно их составить, необходимо единожды совершить заметного объема «ручную» работу. Аналогичные же сложности имеются и с поиском данных для конкретных авторов с неоднозначно транскрибируемыми фамилиями и инициалами, но при такой обработке «персональных данных» еще более массовой является проблема «отделения однофамильцев» - иначе на выходе получается завышенный результат.
WoS, Scopus и ряд более мелких баз данных пытаются решать часть этих проблем руками авторов - например, сейчас Thomson Reuters активно пропагандирует опцию MyResearcher ID и достиг в этой пропаганде явных успехов. Опция эта полезна, но до конца проблемы не решает - поскольку далеко не каждый автор в состоянии сделать безошибочную разметку и следовать унифицированной системе ввода названия организации, и, тем более, мало кто своевременно вспоминает о необходимости дополнять сведения о своих статьях по мере их публикации. То же наблюдается и в менее масштабных базах данных, формируемых с самого начала по принципу ввода информации авторами (например, так называемая «система Истина» в МГУ). Необходимо понять, что никакие усилия технических специалистов не решат проблемы человеческой невнимательности, а научный работник, безусловно, не обязан заниматься работой канцелярского типа, которая особенно трудна для авторов старшего возраста, опубликовавших многие десятки работ. Задача аккуратной разметки, если она актуальна, должна решаться учеными секретарями или сотрудниками ОНТИ, которые могут обра-
щаться к авторам за консультациями. Нам известны примеры российских институтов с таким разумным подходом к делу.
Опыт поддержки и обновления списков цитирования www.expertcorps.ru/science/whoiswho показал, что после 2-3 этапов полностью ручной обработки возможно существенное облегчение дальнейшей работы с новой информацией из WoS даже для людей с очень распространенными фамилиями. Для такой работы (при ее четкой организации) требуется один на всех действительно грамотный программист и еще не более чем один технический исполнитель для ежегодного обновления данных о каждых ~10 000 человек. Вопрос, однако, состоит в том, стоит ли заниматься обработкой данных для всех без исключения людей, трудовые книжки которых лежат в отделах кадров российских научных организаций и вузов...
Вполне очевидно, что «библиометристы» не могут обеспечить надежности извлечения данных до тех пор, пока сами научные организации не наведут тем или иным способом порядок в сведениях о публикациях своих сотрудников. Но даже если это когда-либо случится в достаточно массовом масштабе, такие данные вряд ли будут основаны на использовании одной и той же базы данных - для многих профильных организаций WoS явно не оптимален (например, в математике, в физике высоких энергий и некоторых других областях, в которых существуют серьезные профильные базы научных публикаций).
(2) Проблемы классификации были предметно рассмотрены нами в [3, стр. 5-6, 36-48]. Здесь приведем цитату [3, стр. 37] для охваченных библиометрическим азартом: «Для администраторов и чиновников велик соблазн использования классификатора Web of Science (или иных аналогичных публикационных баз) - это кажется простым решением, поскольку информация о специализации в таких терминах извлекается одновременно со сведениями о статьях и их цитировании. Однако Web of Science классифицирует не статьи и их авторов, а журналы. При этом целый ряд журналов, публикующих статьи из разных областей знания (в том числе журналов с высоким рейтингом) он определяет бессмысленным в смысле конкретной классификации термином multidisciplinary, а журналы широкого профиля в рамках отдельных областей знания - фактически произвольным обра-
зом. Кроме того, классификатор WoS крайне неоднороден по степени детализации разных областей знания.»
Для иллюстрации степени неоднородности приведем некоторые примеры. Физика представлена в WoS всего четырьмя рубриками верхнего уровня (из девяти в общепринятом международном классификаторе по физике PACS http://www.aip.org/pacs/), при этом в следующем уровне присутствует менее 20% соответствующих кодов PACS, а ведь каждый из них представляет довольно крупное научное направление. Разделы химии представлены немного подробнее (наша оценка - присутствует около 40%). Однако некоторые рубрики сформулированы крайне странно, в них смешаны совершенно разные направления (например, Inorganic and Nuclear Chemistry - это нечто из эпохи уранового проекта, в современной науке это как минимум три - а даже не два - совершенно разных раздела). Наиболее подробно WoS классифицирует Computer Science и медицину, последнее отчасти облегчает проблемы классификации биологии, но в целом пытаться описать современные естественные науки при помощи такого классификатора не стоит и пытаться.
Следует признать, что идеальных классификаторов не существует, а кроме того их нельзя «зафиксировать» - они должны развиваться вместе с самой наукой. Наши попытки создать относительно однородную схему классификации в ходе проекта «Корпус экспертов», взяв за основу современные классификаторы международных журналов и научных обществ, многократно подвергались критике специалстов - и именно это было основной движущей силой развития схемы. Фактически в каждом новом опросе «Корпуса» схема проверялась на реальном материале и дополнялась или трансформировалась, если кто-то из специалистов себя в ней не находил. На сегодня работоспособность этого классификатора (его разделы слева на странице www.expertcorps.ru/science/about/) подтверждается возможностью находить с его помощью в базе данных специалистов для участия в конкретных экспертных процедурах. Это не означает, что нет необходимости дальнейшей детализации схемы для некоторых экспертных задач, но такая схема уже, безусловно, может быть основой для многих видов сравнительного анализа.
Заключение - такое же, как в п. (1): наводить порядок в классификации нужно силами научных работников, работы для «библиометристов» тут просто нет по определению. И до тех пор, пока не оговорена классификационная схема и не проведено отнесение к ней каждого объекта исследования (автора, лаборатории, института), любые «библиометрические исследования» по сопоставлению разных научных направлений и областей знания следует рассматривать как крайне вредные.
(3) Проблема (не)полноты данных непосредственно связана с проблемой классификации, и WoS заведомо плох для некоторых областей знания и их разделов. Однако Thomson Reuters предпринимает в последние годы большие усилия по сбору «скрытых ссылок» на работы, которые непосредственно не реферирует («скрытыми» являются также ссылки с неполным или неточным библиографическим описанием). Мы довольно подробно обсуждали этот вопрос в [4], показывая, что использование опции Cited Reference Search позволяет извлекать гораздо больше информации, существенно снижать различия данных при работе с версиями WoS разной глубины и, таким образом, делать сравнительный анализ цитирования для людей разных поколений, работающих в разных областях знания, значительно более корректным.
Здесь в качестве примера приведем cведения о цитировании отдельных широко известных специалистов, полученные с учетом и без учета «скрытых ссылок» (таблица 1).
Для людей старшего поколения отличие результата в 2-4 раза можно обнаружить практически в любой области знания, что в значительной степени связано с обилием публикаций в российских журналах (вопреки распространенному убеждению, такие работы тоже цитируются, и совсем не редко, но информация об этом оказывается в основном в «скрытых» ссылках). Для более молодых людей различия тоже бывают довольно драматичны, особенно в математике, Computer Science и орга-низменной биологии.
Работа со «скрытыми» ссылками допускает автоматизацию в еще меньшей степени, чем с «явными». Однако если мы хотим иметь объективную информацию, то учитывать эти ссылки необходимо. Библиометрия всерьез - это не для ленивых...
Таблица 1.
Специализация и год первой публикации автора «Явные» ссылки Всего, со «скрытыми» ссылками
число работ суммарное цитирова- ние число упоми- наний4 суммарное цитирование
Физика твердого тела, 1954 163 2624 1044 9853
Математика, 1956 113 3909 1561 17554
Органическая химия, 1956 835 8636 1332 15568
Микробиология, 1958 122 1244 445 2935
Палеонтология, 1963 103 1005 535 2772
Г еология, 1962 230 3033 664 8017
Прикладная математика, 1962 96 985 514 3962
Математика, 1978 30 2620 379 5724
Математика, 1987 5 110 237 1427
Математика, 1994 44 764 312 1968
4 Число упоминаний не равно числу статей! Часто бывает много скрытых ссылок на одну и ту же работу, сейчас в проекте «Корпус экспертов» возможно объединене таких ссылок (в том числе ссылок на русско- и англоязычные версии одной и той же статьи, на статьи в журналах и агхXV и т.п.).
3. Даже если формальные показатели удастся правильно посчитать, их еще нужно правильно интерпретировать
Оценка научных индивидуальностей по С1 - дело совершенно безнадежное, и мы не будем останавливаться на этом вопросе подробно. Опыт опросов в проекте «Корпус экспертов» показал, что люди со сравнительно невысоким цитированием составляют, в зависимости от области деятельности, от 10 до 50% специалистов, авторитетных среди коллег. Конечно совсем низкое и нулевое цитирование - скорее исключения, существующие в основном в исследованиях полевого характера. В то же время среди цитируемых специалистов (определенных по условным порогам в списках www.expertcorps.ru/ science/whoiswho) от 20 до 60% - тоже в сильной зависимости от области знания - не получают рекомендаций коллег как возможные научные эксперты.
Несмотря на такое разнообразие частных случаев, статистически корреляция между авторитетом и цитируемостью в рамках крупных разделов безусловно имеется [3, стр. 37-41]. Поэтому в разумных пределах использовать С1 при сравнительной оценке лабораторий одного и того же профиля конечно можно, если сразу договориться не подменять экспертную оценку этими «формальными показателями» (например, можно использовать «показатели» как первичный фильтр в каких-то многоэтапных конкурсных процедурах, но поры этого фильтра должны быть достаточно широкими, чтобы не потерять какие-то особые случаи). Куда сложнее с оценкой институтов - они крайне редко бывают узкопрофильными, даже если тематики всех лабораторий относятся к одному и тому же разделу науки. Попытки оценивать институты (и особенно вузы) по суммарному цитированию работ всех сотрудников довольно опасны, как мы однажды убедились на собственном опыте [2]. В этом случае возникает и дополнительная проблема учета работы сотрудников в двух и более организациях, не говоря уже об очевидных технических проблемах, рассмотренных в п.(1) предыдущего раздела.
Нам представляется наиболее естественным оценивать институты экспертно, с привлечением большого числа специалистов - самый лучший международный опыт, который следует перенять, это опыт экспертных панелей. Вместо суммарного С1 в качестве первичного фильтра в этом случае куда больше подходит число активно работающих научных групп, которые часто могут быть обнаружены по С1 лидеров таких групп.
4. Заключение, или «зачем все это нужно ?»
Мы исходим из соображения о том, что наукой люди занимаются с целью узнать, как устроен мир вокруг нас. Если речь идет о естественных науках, то подразумевается исследование Природы. Всяческая деятельность «вокруг науки» - и, в частности, библиометрическая - имеет смысл, с нашей точки зрения, постольку, поскольку помогает науке развиваться. Приведенные выше соображения показывают, как мы надеемся, почему сугубо формальное исчисление индексов цитирования, показателя Хирша и тому подобная «бухгалтерская» деятельность не ведут, без ключевого участия реальных научных экспертов, к сколь-нибудь полезным результатам.
Мы полагаем также, что нет никакой необходимости немедленно «всех пересчитать». Разумно устроенные институты заинтересовались «библиометрией» своих сотрудников задолго до глобальных инициатив МОН и уже давно используют результаты для «внутренней научной политики». А в масштабе всей страны куда важнее озаботиться получением информации об активных и заметных по публикациям коллективах - это не только позволит верно выстроить систему поддержки исследований, но и поможет экспертным путем выявить ценных специалистов, по тем или иным причинам «пропущенных» при первичном поиске.
Мы отдаем себе отчет в том, что «профессиональным биб-лиометристам» не понравятся наши соображения. Этот текст обращен прежде всего к самим научным работникам и творчески относящимся к проблеме администраторам, которых еще не охватил библиометрический азарт.
Литература
1. ГЕЛЬФАНД М.С. Диссертационный скандал: предварительные итоги // Троицкий Вариант - Наука. - 26.02.2013. -№ 123. - иЯЬ: http://trv-science.ru/2013/02/26/dissertacionnyjj -skandal-predvaritelnye-itogi/ (дата обращения 15.07.2013).
2. Институты РАН и вузы. Сравнение научной эффективности на примере физики [Электронный ресурс]. - иЯЪ: http://polit.ru/article/2012/06/22/comparison/ (дата обращения
15.07.2013).
3. Карта полезных ископаемых - поиск на территории российской науки // Промежуточные результаты проекта «Корпус экспертов по естественным наукам» (2007-2012) [Электронный ресурс]. - иЯЬ: http://www.expertcorps.ru/static/cms/ MAP_final.pdf (дата обращения 15.07.2013).
4. К вопросу об исчислении индексов цитирования научных статей // Трибуна УФН. Интервью М.С. Аксентьевой с М.В. Фейгельманом и Г.А. Цирлиной [Электронный ресурс]. - иЯЬ: http://ufn.ru/tribune/trib160512.pdf (дата обращения 15.07.2013).
5. ТВ-программа ТехноПарк [Электронный ресурс]. - иЯЪ: http://tv-technopark.m/index.php?optюn=com_content& view=article&id=344&catid=3&Itemid=16 // Публикация по материалам программы в журнале «Экология и жизнь». -2011. - №6. - иЯЬ: http://www.ecolife.ru/infos/agentstvo-ekoinnovatsijj/2177/ (дата обращения 15.07.2013).
6. ФЕЙГЕЛЬМАН М.В. Как сохранить островки науки в России // Публичная лекция polit.ru. - иЯЬ: http://www.polit.ru/ lectures/2011/04/19/feigelman.html (дата обращения
15.07.2013).
BIBLIOMETRIC EXCITEMENT DUE TO THE ABSENCE OF SCIENTIFIC EXPERT EVALUATION
Notes “Expert Corps in Natural science” project http://www.expertcorps.ru/
Michail Feigel’man, Landau Institute for Theoretical Physics, Moscow, Doctor of Science feigel@landau.ac.ru).
Galina Tsirlina, M.V. Lomonosov Moscow State University, Moscow, Doctor of Science (tsir@elch.chem.msu.ru).
Abstract: Earlier the authors discussed the problem of professional evaluation in science and possibility to solve this problem under conditions currently existing in Russia in Refs [7-5], and partly implemented this approach in volunteer “Expert Corps” project. In this communication the reasons of appearance of this project are addressed, and compatibility with the alternative approaches to evaluation of scientific results is discussed.
Key words: scientific evaluation, classifiers, scientific publications, citation.
Поступила в редакцию 12.03.2013.
Опубликована 31.07.2013.
