CC BY
197
Управление большими системами. Специальный выпуск 44:
«Наукометрия и экспертиза в управлении наукой»
УДК 001.38 ББК 72.4+73.4
НАУКОМЕТРИЯ: КАК С ЕЕ ПОМОЩЬЮ ЛЕЧИТЬ,
А НЕ КАЛЕЧИТЬ?
Чеботарев П. Ю.1
(ФГБУН Институт проблем управления им. В.А. Трапезникова РАН, Москва)
Представлен взгляд автора на некоторые проблемы, «болезни» современной науки - мировой и российской - и на возможность использования наукометрии для их «лечения».
Ключевые слова: наукометрия, индекс Хирша, импакт-фактор, эффективность научной деятельности, правило корня.
1. Болезнь
- «Лечить»? Кто болеет?
- Наука.
- Чем?
Перепроизводством недоработанных текстов, публикуемых, чтобы их «посчитали». Даже в лучших международных журналах стандарты медленно, но верно ползут вниз. Статьи выходят с ошибками: от ложных «теорем» до неверной атрибуции результатов, не говоря о «ляпах». Этого безобразия становится всё больше не только в абсолютном, но и в относительном выражении. Научный приоритет всерьез не проверяется: в областях с мощным потоком публикаций это затруднительно. Качество рецензирования падает.
Все ужасно спешат. Спешит автор: ему надо опубликовать
1 Павел Юрьевич Чеботарев, доктор физико-математических наук, (Москва, ул. Профсоюзная, д. 65, (495) 334-88-69; рте14е@§таН. сот).
за год как можно больше статей, а желательно - еще и одну-две книжки. Спешит редактор журнала с высоким импакт-фактором: ему нужно справиться с растущим потоком манускриптов и выбрать те, что принесут ссылки за два года (иные «бесполезны»). Спешит рецензент: во-первых, его ждет собственная работа, во-вторых, пока он будет разбираться со статьей, его завалят новыми, а не всегда удобно отказывать.
Спешит и читатель: он одновременно и автор, и рецензент, и докладчик на конференциях, и преподаватель, нередко - и редактор; у него на чтение почти нет времени. Многие уже не читают, а только пролистывают работы, на которые ссылаются.
Наука превратилась в гонку. Добро бы - за результатами. Нет, - за числом публикаций и ростом библиометрических индексов. Экспертов, способных оценить качество работ, мало. А цифра - число статей, число ссылок на них, индекс Хирша [16] - всем видна. Ученые с индексом Хирша в несколько десятков - вроде научных «миллионеров». Публика редко интересуется их конкретным вкладом в науку: цифра заменяет ответ на этот вопрос. Первенство в своей среде «по Хиршу» научный писатель ощущает почти как актер - получение «Оскара».
Эта ситуация сравнительно нова. В числе прочих причин она связана с внедряемой повсеместно системой оценки эффективности научной деятельности - по числу публикаций, импакт-фактору журналов, где они напечатаны, индексу Хирша и т.п. Прошли старые добрые времена, когда ученый был счастлив, если за год-два написал и довел до совершенства одну статью и
1 Новое в ней - масштаб явления, замеченного чуткими к фальши людьми довольно давно. В своей монографии «Наукометрия» [7] В.В. Налимов и З.М. Мульченко приводят суждение Дж. Бернала [14], отмечавшего в 1939 г., что оценка деятельности ученых по числу публикаций приносит большой вред науке: ученые стараются напечатать как можно больше работ, что засоряет научные журналы посредственными, незрелыми публикациями. Анализ социальных функций науки, предпринятый Дж. Берналом, интересен и глубок. Автор благодарен рецензенту статьи за соответствующую ссылку.
теперь уверен, что она будет прочным кирпичом в здании науки. Сегодня при такой стратегии он рискует навсегда «отстать» от тех коллег, кто, затратив меньше интеллектуальных усилий, публикуют 5-10 (число зависит от области) статей в год, не смущаясь тем, что строят они не из кирпича, а из смоченного водой песка. Нет, ученые «борзописцы» были всегда, но - одним из маргинальных типов, и при решении административных вопросов никогда не уделяли так мало внимания содержанию работ и не доверяли так библиометрическим индексам.
Тысячи небездарных людей сегодня ставят перед собой задачу не продвижения в понимании устройства мира, а продвижения «по Хиршу». Увы, надо быть нонконформистом, романтиком и немножко «фриком», чтобы относиться к делу иначе. Ведь должности, гранты, надбавки - всё это поставлено в зависимость от числа публикаций, числа ссылок на них, того же «Хирша».
В основе благородные и карьерные стимулы не противоположны. Чем более они совместимы, тем совершеннее общество.
В сегодняшней гонке за очками собственно наука - размышления, новые сложные интеллектуальные конструкции, до деталей продуманные эксперименты, скрупулезный сбор материала - становятся роскошью, если и ведущей к «результату», то томительно длинным и ненадежным путем. Как правило, находятся другие способы добиться наукометрического успеха -проще, без затяжного, нередко безрезультатного погружения в бездонные глубины.
Увы, процесс увеличения мощности потока низкокачественных работ характеризуется положительной обратной связью. Иначе говоря, он усиливает сам себя - в силу стремления ученых обогнать друг друга. Рост числа публикаций имеет и объективные причины. Ученых становится больше за счет присоединения Китая, других стран Азии, Латинской Америки и др. Проблема в том, что если по некоторому направлению публикуется тысяча работ в год, то в нем уже нельзя оставаться экспертом в традиционном смысле слова. Поскольку нельзя следить за всем потоком, многие решают не следить за ним вообще и про-
сто продолжают свою работу, ссылаясь на то, на что привыкли, и на случайно попавшееся. Работы, которые мало кто прочтет, уже и пишутся по-иному: они не выстраиваются так тщательно, не встраиваются в общую картину мира. Они пишутся не для читателя, а для числа; их производить всё легче, они «пекутся» всё быстрее, их становится всё больше. Всё чаще это шлак. В приложениях математики поток разделяется на бесчисленные разрозненные, но дублирующие друг друга ручейки; синергии нет: она нерентабельна. Главная задача лечения современной науки - утверждение принципа «лучше меньше, да лучше». Внедрять его, идя против потока, трудно. К вопросу о том, как это можно делать, вернемся ближе к концу статьи.
Сейчас отметим лишь, что нельзя премировать людей пропорционально числу публикаций. Система оценки должна быть такой, чтобы с некоторого момента становилось нерентабельным публиковать еще одну скороспелую статью, но оставалось рентабельным повышать качество работы. Это непростой путь, но ясно, что двигаться надо в этом направлении. Иначе, как всякий зашлакованный организм, науку ждут всё более и более тяжелые болезни.
Сегодня на вес золота ученые, стоящие в стороне от гонки. Ощущающие свое призвание в том, чтобы ставить и решать по-настоящему трудные задачи. Думать, собирать материал, экспериментировать, вычислять... и тратить на это столько времени и сил, сколько требуется, не думая о скорости роста списка публикаций. Назовем этих ученых «решателями трудных задач». Если бы с помощью наукометрии можно было поддержать этих людей, было бы замечательно! Как писал в 1965 г. Лев Озеров, «талантам надо помогать, бездарности пробьются сами». «Решатели трудных задач» - это те таланты, которых, при современных научных нравах, бездарностям довольно легко обставить.
2. О «целебных свойствах» индекса Хирша
Один из недавно, но прочно вкопанных краеугольных камней сегодняшнего научного миропорядка - индекс Хирша. Что
он измеряет?
Пусть ученые А и В опубликовали по 10 статей. А получил по 200 ссылок на каждую, В на каждую свою статью получил по 10 ссылок. У кого из них выше индекс Хирша? Ответ: индекс Хирша у них одинаковый и равен 10.
Напомним, что индекс Хирша ученого - это такое наибольшее число h, что у него имеется h статей, на каждую из которых получено не менее h ссылок [16, 4, 6].
Теперь предположим, что В опубликовал 11 статей и на каждую получил по 11 ссылок. Тогда он обгонит А «по Хиршу». Если же у него 20 статей и 20 ссылок на каждую, то он обгонит А «по Хиршу» в 2 раза. Хотя общее число ссылок на его статьи -в 5 раз меньше.
А теперь вопрос (увы, риторический): что стимулирует Хирш - публикацию требующих большого труда прорывных работ высшего качества или публикацию работ умеренного качества, но в немереном количестве?
Если на секунду мы отождествим качество работы с числом ссылок на нее (разумеется, не забыв об опасности такого смешения понятий), то будем вынуждены признать, что Хирш отказывается учитывать качество, не «сдобренное» количеством. Нетрудно оценить величину индекса Хирша у Евклида, у Коперника. У некоторых нобелевских лауреатов он тоже низок.
Но есть и еще одна особенность. Рассмотрим снова А и В. У В, как и вначале, 10 статей с 10 ссылками на каждую. У А теперь не только 10 статей с 200 ссылками на каждую, но еще и 20 (30, 40, сколько угодно) статей с 10 ссылками на каждую. Оказывается, что и этого недостаточно, чтобы А обогнал В «по Хиршу». А если у В 11 статей и 11 ссылок на каждую (всего 121 ссылка против 2200 у А), то он выйдет вперед. Таким образом, Хирш не только игнорирует «лишнее» качество, но и количество тоже игнорирует, если (вполне достойное) качество этого количества не превышает произвольно назначенного порога. А теперь задумаемся, справедливо ли, что одна ссылка на работы В в среднем «весомее», чем 18 (это отношение - не предел: предела нет) ссылок на работы А?
Индекс Хирша более всего выгоден для «системных» середняков, без устали пишущих свои работы и обменивающихся ссылками с себе подобными. Для полного успеха им не обязательно признание всего мира - достаточно небольшой «мафии».
Действительно, пусть В\ и В2 публикуют по 5 статей в год, и каждый из них в статье номер п ссылается на п первых статей другого (самые последние, еще не вышедшие, известны ему в виде препринтов). Тогда, без (!) учета самоцитирований, через 2k лет у каждого из них будет индекс Хирша h = 5k. Скажем, через 8 лет они будут иметь достойнейший индекс h = 20. Ничего не изменится и если В2 - всего лишь псевдоним автора В\.
Чтобы исправить однобокость индекса Хирша, был предложен ^-индекс. Это такое наибольшее число т статей автора, что на них в сумме имеется т ссылок. До некоторой степени ^-индекс учитывает «лишнее качество», игнорируемое Хиршем: за счет него продлевается список статей, принимаемых в расчет. Но и он не помогает ученому А обогнать В в первых трех примерах этого раздела.
Итак, целевая функция, которую формирует индекс Хирша, согласуется не с принципом «лучше меньше, да лучше», необходимым для «лечения» сегодняшней науки, а (до определенного предела) с прямо противоположным принципом!
3. Спасти рядового «решателя трудных задач»
Слово «спасти» не преувеличение. Возможно, при сегодняшнем рейтинговом зуде Г. Перельману уже не дали бы восемь лет спокойно заниматься гипотезой Пуанкаре, почти ничего не публикуя, и уволили бы за неэффективность.
И здесь мы сразу должны признать, что радикального средства спасти «решателя трудных задач», этого едва ли не самого ценного члена научного сообщества, скорее всего, нет. Нет до той поры, пока его достижения не оценены сообществом. Может быть, он уже решил пару-тройку трудных задач и даже опубликовал свои решения. Но если эти задачи не были давно поставлены, если их сформулировал он сам или его не очень знамени-
тый научный руководитель, то его публикации, скорее всего, затеряются в потоке и могут впервые вызвать интерес через 5,
10, 20 лет. И пока этого не произошло, наш «решатель трудных задач» по библиометрическим показателям будет неотличим от научной серости: очень редкие публикации, на которые практически нет ссылок. Помочь в этой ситуации могут экспертные методы, о чем ниже, а сейчас рассмотрим иную ситуацию: пусть наш «решатель» о себе уже заявил. Тогда у него будет по-прежнему негусто публикаций (поскольку каждая требует больших затрат сил и времени), но число ссылок на каждую, скорее всего, будет превосходить их количество. То есть «архетипиче-ски» он будет немного напоминать ученого А из 1-го примера предыдущего раздела. И здесь мы снова вынуждены констатировать, что индекс Хирша его «в упор не увидит», так как визитная карточка нашего героя - не учитываемое Хиршем «лишнее качество».
Учесть «лишнее качество» просто: достаточно найти среднее (а также максимальное!) число ссылок на статью. И этот показатель оказывается неплох: в работе [17] показано, что индекс Хирша статистически менее надежен, чем среднее и медиана числа ссылок на одну работу ученого.
4. Пациент скорее жив?
При всех недугах современной мировой науки этот пациент скорее жив, чем мертв. Несмотря на наличие в клубе хиршевых «миллионеров» большой фракции предприимчивых, «агрессивных» писателей, не имеющих не только крупных достижений, но и глубоких знаний, позиции «решателей трудных задач» и других научно мотивированных профессионалов остаются довольно прочными. Этому способствует, в частности, институт международных научных премий. При всех недостатках, как правило, их дают за серьезные достижения, а не за вал публикаций. Именно лауреаты этих премий и составляют высшую мировую научную элиту, продолжающую оберегать некоторые традиции.
5. Российский пациент
Обратимся к российскому пациенту. Если в мировой науке основная проблема - снижение качества научной продукции при неконтролируемом росте ее количества и победа «бегущих за Хиршем» над «решателями трудных задач», то у нас всё то же погружено в денежную нищету и несколько слоев абсурда.
При всех недостатках предприимчивых «хиршевых миллионеров» это люди, работа которых так или иначе соответствует современным мировым стандартам, причем многие из них -достойнейшие. В России не они образуют ядро научной «элиты». Еще меньше там «решателей трудных задач». Но не будем погружаться в эту тему в краткой статье.
В целом про истерзанного недофинансированием российского пациента следует сказать, что при всем нездоровье, при продолжающейся утечке мозгов, в нем сохраняются еще очаги жизни. Задача - запустить деление здоровых клеток и затормозить деление больных.
6. Провинциализм
Кроме общей болезни, российский пациент страдает и своей, причем тяжелейшей - провинциализмом.
Россия - страна, вклад которой в мировую науку составляет 2-3 процента. При этом в России можно защитить диссертацию с чисто русскоязычным списком литературы - во многих областях знания, разрабатываемых во всем мире. Это и есть провинциализм.
Провинциализм порождает имитацию научной деятельности в масштабах, несопоставимых с мировыми. В двух с лишним тысячах журналов из списка ВАК, и в журналах не из списка ВАК, и в сборниках конференций наряду с нормальными работами публикуются тысячи квазинаучных текстов, не соотнесенных с уровнем современного знания, сильно дублирующих друг друга, не представляющих научной новизны. Едва ли здесь нужно обсуждать это подробно; вспомним лишь, если уже
забыли, показательный пример с «Корчевателем» [2].
В начале ХХ века языком науки был немецкий, до этого -французский, латынь, еще раньше - древнегреческий. Сегодня -английский. Ученые Германии, Франции, Италии все значимые результаты (в не языково-зависимых областях знания) публикуют по-английски: иначе научное сообщество о них не узнает. Это должно стать так и в России, сколько бы нас ни убеждали, что «если человек — специалист высокого класса, то он будет и русский язык изучать, и читать статьи на русском» [8]. Это при сегодняшнем-то уровне нашей науки?
В этом вопросе мало что меняет и наличие переводящихся на английский российских журналов. С ними есть две серьезные проблемы. Во-первых, чтобы адекватно перевести статью, нужно до тонкостей знать англоязычную терминологию - именно в данной узкой области, иначе выходит чушь, которую невозможно понять. Переводчики, не будучи узкими профессионалами, такими знаниями обычно не обладают. Во-вторых, за редким исключением, переводы наших журналов не входят ни в top 10, ни в top 20, ни даже в top 30 мировых журналов в своих областях; попросту, их почти никто не читает.
Вывод прост: система оценки научной деятельности в России должна недвусмысленно стимулировать публикации в лучших международных журналах, выход книг в лучших мировых издательствах. Таким способом мы приблизимся к достижению нескольких целей: 1) введем в мировой обиход наши результаты; 2) повысим престиж наших институтов и университетов; 3) приучим наших ученых работать по мировым стандартам - при всей их (стандартов) коррозии они заметно выше отечественных.
К сожалению, эта идея пока не получила адекватной реализации. В «порядке применения стимулирующих выплат», действующем в РАН [11], рекомендуется учитывать индексы цитирования журналов, но во многих институтах (см., например, [9]) публикация статьи в ведущем международном журнале (скажем, “Science”) оценивается так же, как публикация в любом «вестнике» из списка ВАК (например, в «Ученых записках Комсо-
мольского-на-Амуре государственного технического университета»). А теперь оценим соотношение трудозатрат, необходимых для одной и другой публикации, и сравним их эффект - в смысле распространения результатов, престижа отечественной науки и института и т.д. Надбавки названы «стимулирующими», но какую стратегию они стимулируют?
Упоминание «Ученых записок...» связано с проведенным мною только что экспериментом. Из «Списка ВАК» я наугад выбрал один журнал (им оказались «Ученые записки.»), а в нем - первую попавшуюся статью: ею оказалась [3]. В этой статье авторы (один из них - аспирант) ввели в MATLAB шесть уравнений, взятых из учебника по электрическим машинам (1980 г.), а также четыре характеристики конкретного асинхронного двигателя и напечатали графики переходных процессов. Всё. Утверждений в статье нет. В списке литературы одно название - упомянутый учебник. Это не «Корчеватель», но, насколько могу судить, - уровень лабораторной, максимум курсовой работы. Слова о провинциализме не имеют никакого отношения к тому, издается тот или иной журнал в столице или в глубинке. Они означают, что при всех болезнях мировой науки, проведя подобный эксперимент в отношении журналов, входящих в Web of Science, вы едва ли «вытянете» статью такого уровня.
7. Какими должны быть надбавки? Правило корня
«Эталонный» пример стимулирования международных публикаций - система надбавок, принятая в НИУ ВШЭ [10]. Здесь есть надбавки трех уровней. Надбавка высшего, 3-го уровня - «за статью в зарубежном рецензируемом научном журнале» - в случае статьи (не обзора!) одного автора и его полной ставки выплачивается в течение двух лет в размере 90 тыс. рублей в месяц [12]. Надбавки 1-го и 2-го уровней составляют соответственно 35 и 60 тыс. рублей в месяц и выплачиваются за научные достижения, которые в ВШЭ оцениваются не так высоко.
Суммы выплат характеризуют возможности организаций.
Важнее обсудить принцип стимулирования - он общеприменим. От количества статей надбавка 3-го уровня в НИУ ВШЭ не зависит: ученый премируется за наличие результатов «международного класса», а не за плодовитость. Для исследовательских институтов учитывать число публикаций, вероятно, имеет смысл, но, как было сказано, надбавка не должна быть ему пропорциональна. В противном случае мы стимулируем искусственное дробление работ, перепевы одного и того же и другие способы «накрутки» - не только продуктивность, но и наглость. Чем менее «точна» наука, тем легче «накручивать» публикации, особенно отечественные. Поэтому более разумной представляется пропорциональность итогового показателя корню из числа публикаций. Тогда вклад 4-й статьи автора будет в 3,7 раза меньше вклада первой1, и с некоторого момента усилия по накрутке станут нерентабельными.
Как оценить качество работ? Формальных способов два: индексы влиятельности журналов (импакт-фактор и т.п.) и учет ссылок на работы автора. Однако оба способа ненадежны, о чем много писали [4] (в высшей степени полезный сборник!).
Вывод: раз показатели ненадежны, а лучших нет, важно избежать больших ошибок, т.е. учет должен быть консервативным
- посредством функций со стремящейся к нулю производной (типа корня или логарифма). Например, если автор опубликовал за отчетный период k статей в журналах со средним импакт-фактором / то вклад в его персональный показатель, определяющий надбавку, может быть (^1 + /) )12. Этот вклад «замеча-
1 Другой вариант - делать так, как с надбавками 1-го и 2-го уровней в НИУ ВШЭ: для их получения нужно набрать 14 баллов; дополнительные баллы игнорируются. Одна либо другая надбавка присуждается по результатам экспертной оценки качества публикаций. Такой «пороговый» принцип - самый популярный в мире. Обычно вводят 2-3 категории успешности, каждой из которых сопоставляют набор требований и фиксированную сумму премиальных выплат. Перечни подходов к премированию за научные успехи в российских организациях приведены в [1, 13] (автор благодарен рецензенту за эти ссылки).
ет» только большое приращение импакт-фактора. Кроме того, добавлять к статье в ведущем журнале статью в «фейковом» -хлопот больше, чем выгоды.
Как учесть число авторов работы? Нередко вклад автора определяют как величину, обратную их числу [11]. Этот подход исходит из презумпции, что статья нескольких авторов ничуть не лучше статьи, написанной одним. В действительности же каждый автор добавляет в работу свои опыт, талант, систему знаний. Поэтому осмысленнее считать «вклад» автора обратно пропорциональным1 корню квадратному из числа авторов (так делают, например, в МГУ [5]). Тогда в приведенной выше формуле (^1 + р) )12 каждую единицу, входящую в число статей k, надо заменить на величину, обратную корню из числа авторов. Разумеется, свойства показателей такого рода должны всесторонне изучаться. И, к счастью, нет необходимости выбирать их умозрительно: есть возможность сравнить индексы успешности по их «объясняющей силе», как описано в разделе 9.
Предложения по учету ссылок на работы автора также могут быть сопоставлены по статистической методике, намеченной в разделе 9. Одним из разумных представляется показатель (№/«)1/4, где N - число ссылок на работы автора (за вычетом самоцитирований), п - число его работ. Под корнем здесь -произведение N на плотность ссылок N/n. Как заметил Б.Г. Миркин, показатель N /п соответствует аппроксимацион-ному критерию кластера в кластерном анализе, что облегчает построение его аксиоматики. Поскольку Щ2/п)11л со временем может уменьшаться, разумно характеризовать автора наибольшим достигнутым значением этого показателя.
Для ссылок имеет смысл учитывать средний импакт-фактор р' журналов, откуда эти ссылки взяты (РИНЦ его считает). То
1 ВШЭ и здесь (в случае надбавок 1-го и 2-го уровня) подходит к вопросу радикально: «За публикации, написанные в соавторстве без деления авторства, устанавливается полный балл каждому из соавторов» [12].
есть N в индексе Щ2/п)11Л нужно заменить на N(1 + р'). Этот показатель можно сложить с показателем публикационной активности (обсужденным ранее в этом разделе), взяв их с весами, определяющими сравнительную важность.
Разумеется, использовать так количество ссылок и импакт-фактор можно лишь при сравнении работ в одной области, поскольку, например, в математике среднее число ссылок на статью - меньше 1, а в науках о жизни - более 6 (данные 2000 г. [4]). Если необходимо сравнивать работы из разных областей (или даже из разнородных подобластей одной науки), то число ссылок и импакт-фактор нужно нормировать [6].
Безусловно, ссылки сильно подвержены действию стадности и других посторонних факторов. Поэтому для оценки качества работ надо разрабатывать экспертные методы. Хорошей их частной реализацией можно считать систему международных научных конкурсов, имеющих свои рейтинги.
8. Еще несколько соображений о надбавках
К «Системе расчета баллов» [12] приложен список журналов на русском языке, «публикации в которых не учитываются при расчете академических надбавок». Он отсеивает ряд журналов из списка ВАК, порой - целые издательства. Речь идет о журналах, в которых нет настоящего рецензирования или отмечалось появление статей неприемлемого качества.
Заслуживает внимания, что в ВШЭ за рецензию для зарубежного научного журнала начисляется 2 балла: это всего вдвое меньше, чем за статью в российском журнале. За рецензию для ведущего российского журнала дается 1 балл. Рецензирование -важная и трудоемкая работа; верно, что она оценивается!
А вот «тезисы докладов и выступлений» в НИУ ВШЭ «к результатам академической деятельности не относятся» [10]. Это средство против простого способа «накрутки» баллов. Действительно, даже 50 тезисов не стоят одной полноценной статьи.
9. Предложения
Подытожим. Не все, но большинство приводимых здесь предложений в той или иной степени обоснованы выше.
• Ввести в российских научных учреждениях надбавки «За статью в зарубежном рецензируемом научном журнале» - наподобие надбавки, имеющейся в НИУ ВШЭ. Величина этой надбавки должна побуждать преодолеть трудности, связанные с подготовкой публикаций для международных журналов. Это должно стать средством лечения провинциализма нашей науки, ее излишней изолированности.
• Отказаться от индекса Хирша как интегрального показателя успешности ученого. Его можно рассматривать наряду с другими классифицирующими показателями. Адекватное название для него - индекс оцененной плодовитости автора.
• Необходимо срочно прекратить премировать ученых за «вал публикаций», что подталкивает к производству научного мусора. Известен случай, когда фактически один и тот же доклад был послан на несколько десятков конференций, в результате чего автор стал рекордсменом своей организации по суммарному баллу. Нужно либо учитывать баллы пороговым образом [12], либо использовать функции с убывающей к нулю производной (см. «правило корня» в разделе 7). Качество работ принимать в расчет надо, но поскольку доступные коррелирующие с ним показатели (импакт-фактор, число ссылок) ненадежны, учитывать их нужно консервативно: функциями с убывающей производной или порогово. Обязательно применять экспертные методы оценки. Писать много и одновременно здорово - редкий талант. Его обладатели будут по достоинству оценены при любой системе.
• Администрациям научных учреждений следует окружить особой заботой и вниманием «решателей трудных задач» -ценнейших членов научного сообщества, часто - нонконформистов. У «матерых» ученых этого типа сравнительно высоки значения показателей среднее число ссылок на статью и максимальное число ссылок на статью при, возможно, небольшом
числе публикаций. Для выявления «неоперившихся решателей» надо задействовать неформальные методы, включая экспертные.
• Оценку достижений ученых надо рассмотреть как научную задачу. Возможен следующий подход. Для каждой области знания экспертам предлагается оценить успешность ученых, включенных в заранее составленный список, по числовой шкале или отнеся каждого к одному из п упорядоченных классов. Для сравнимости в список лучше всего включить ученых, недавно завершивших научную карьеру, и некоторых действующих. Поскольку для каждого из них есть значения большого числа наукометрических показателей, можно построить регрессию. Скорее всего, нелинейную, включив в число объясняющих переменных ряд показателей вроде тех, что предложены в разделе 7. Выходная переменная - оцененная экспертами успешность. Построение этой регрессии - нетривиальная задача прикладной статистики. Когда получена функция регрессии, с ее помощью можно оценивать других ученых. Поскольку ситуация меняется, регрессионную функцию надо периодически уточнять. Ведь согласно закону Гудхарта «когда достижение показателя становится целью, он перестает быть хорошим показателем».
• Было бы крайне полезно иметь классификацию ученых по типам. Кроме «решателей трудных задач», есть «продолжатели идей», которые берут на себя труд поставить и решить массу мелких задач, что придает теории законченный вид. Есть авторы, пишущие великолепные обзоры (на которые бывает больше ссылок, чем на оригинальные работы), есть те, кто умеет организовать команду, задать направление исследований и распределить задания (в международных журналах часто фамилия такого автора - последняя в длинном списке) и т.д. Скорее всего, ученых разных типов надо оценивать по-разному. Это не исключает возможности универсальной оценки, но прежде чем ее строить, стоит рассмотреть каждый тип отдельно. Эту задачу можно также решить с помощью экспертов: сначала они определяют набор типов ученых - с вариациями для разных областей. Потом оценивают известных ученых по (а) степени принадлежности к каждому типу и (б) успешности внутри типа. Далее с
помощью статистической методики, использующей экспертные оценки и наукометрические данные, можно оценивать современников уже не «вообще», а в рамках их амплуа. Такая оценка может быть существенно более информативной.
Литература
1. Выплаты сотрудникам за публикации: практики российских вузов и НИИ. - иЯЪ: http://isterligov.blogspot.ru/ 2013/05/blog-post.html (дата обращения: 11.06.13).
2. ГЕЛЬФАНД М. Четыреста первый способ Остапа Бендера // Троицкий вариант. - 30.09.08. - Вып. 13N (839). -С.3-4.
3. ГНЕДИН П.А., ДУБРОВСКИЙ И.Н. Математическое описание асинхронной машины в комплексных величинах // Ученые записки Комсомольского-на-Амуре государственного технического университета. - 2010. - Т. 1, №1. -С. 6-8.
4. Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей по библиометрике). - М.: МЦНМО, 2011.
- 72 с.
5. ИСТИНА: Интеллектуальная Система Тематического
Исследования НАучно-технической информации. - иЯЪ: http://istina.imec.msu.ru/help/statistics/dynamic/ (дата обращения: 11.06.13).
6. МОСКАЛЕВА О. Поверить индексом науку // Газета.ги. -
19.12.12. - иЯЬ: http://www.gazeta.ru/science/2012/12/
19_а_ 4896245^Йт1 (дата обращения: 11.06.13).
7. НАЛИМОВ В В., МУЛЬЧЕНКО З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
8. «Не знаю, чем занимается Петрик». Президент РАН о Петрике и российской науке. - иЯЪ: http://www.gazeta.ru/ science/2010/02/05_a_3320188.shtml (дата обращения:
11.06.13).
9. Положение о рейтинговых стимулирующих надбавках ИПУ им. В.А. Трапезникова РАН (утверждено решением Уч. совета Института 16.03.2009). -
URL: http://www.ipu.ru/node/12807 (дата обращения: 11.06.13).
10. Положение об академических надбавках НИУ ВШЭ, вступившее в силу 06.12.2012. - URL: http://www.hse.ru/
docs/38109955.html (дата обращения: 11.06.13).
11. Порядок и условия применения стимулирующих выплат,
обеспечивающих повышение результативности деятельности научных работников и руководителей научных учреждений и научных работников научных центров Российской академии наук (утверждено приказом Минобрнауки России, Минздравсоцразвития России, РАН 03.11.2006, №273). -URL: http://www.edu.ru/db-mon/
mo/data/d_06/prm273-2.htm (дата обращения: 11.06.13).
12. Порядок представления информации о публикациях и система расчета баллов для получения академических надбавок НИУ ВШЭ в 2013 г. - URL: http://www.hse.ru/ science/scifund/bonus-order2013 (дата обращения: 11.06.13).
13. Стимулирование публикаций в зарубежных научных изданиях: опыт вузов и научных учреждений. - URL:
http://www.library.fa.ru/adv_publ3.asp (дата обращения:
11.06.13).
14. BERNALL J.D. The Social Function of Science. - London: George Routledge & Sons, 1939. - 482 pp.
15. EGGHE L. Theory and practice of the g-index // Scientometrics.
- 2006. - Vol. 69, №1. - P. 131-152.
16. HIRSCH J.E. An index to quantify an individual’s scientific research output // Proc. Natl. Acad. Sci. USA. - 2005. -Vol. 102, №46. - P. 16569-16572.
17. LEHMANN S., JACKSON A.D., LAUTRUP BE. Measures for measures // Nature. - 2006. - Vol. 444, №21. - P. 1003-1004.
THE USE OF SCIENTOMETRICS: HOW TO HELP, NOT HURT?
Pavel Chebotarev, Institute of Control Sciences of RAS, Moscow, Doctor of Science (pavel4e@gmail.com).
Abstract: The article presents the author’s view on the “diseases” of modern world and Russian science and on the use of scientomet-rics to treat them.
Keywords: scientometrics, Hirsch index, impact factor, efficiency of research activities, square root rule.
Поступила в редакцию 22.01.2013.
Опубликована 31.07.2013.
