CC BY
71
УДК 001.38 ББК 72.4+73.4
НАУКОМЕТРИЯ: КОГО МЫ ЛЕЧИМ?
Поляк Б. Т.1
(ФГБУН Институт проблем управления им. В.А. Трапезникова РАН, Москва)
Статья является откликом на полемическую работу П.Ю. Чеботарева [4]. Подчеркивается, что ситуация с наукометрическими показателями в западной и российской науке кардинально различается и их роль в отечественных условиях может быть позитивной.
Ключевые слова: наукометрия, российская наука, западная наука.
1. Введение
Представьте себе, что вы живете в стране, только что избавившейся от тоталитарного режима и в мучительных поисках нащупывающей свой путь. Вам на глаза попадается яркая статья левого западного публициста, обличающего современную демократию. Одно из главных обвинений: основа демократии, всеобщее равное избирательное право (один человек - один голос) ведет к ошибкам, к власти толпы, к торжеству сиюминутной выгоды. Вы в растерянности: все очень убедительно, выбор власти на основе простой арифметики нелеп, никаких иных механизмов демократия не предлагает... Наверное, лучше вернуться к проверенным тоталитарным методам... Однако чувство здравого смысла и исторический опыт напоминают вам, что несмотря на все недостатки демократия успешно справляется со своими болезнями, чего нельзя сказать об авторитарных системах.
1 Борис Теодорович Поляк, доктор технических наук (Москва, ул. Профсоюзная, д. 65, тел. (495) 334-88-29; boris@ipu.ru).
В какой-то мере пафос статьи П.Ю. Чеботарева [4], демонстрирующей недостатки формальных показателей для оценки эффективности научной деятельности, кажется мне не вполне адекватным состоянию дел в российской науке. Вот ее начало:
-Лечить? Кто болеет?
- Наука.
И далее очень метко описаны симптомы болезни, причем оказывается, что во многом в самой болезни виноваты механизмы оценки труда ученого. Давайте четко поймем, что эти недуги свойственны в основном западной науке, а современная российская наука страдает от совсем других, более кардинальных расстройств, и влияние наукометрических показателей может здесь быть оздоровляющим. При этом я ни в коей мере не хочу оспорить трезвые предупреждения о возможной опасности использования только числовых оценок научной деятельности, содержащиеся и в [4], и во многих других работах.
2. Индекс Хирша, импакт-фактор и их родственники: западный больной
Вспомним, что и число цитирований, и импакт фактор, и индекс Хирша появились совсем недавно (и именно в такой последовательности). Пока наука не стала массовой профессией, не было нужды в количественных показателях. Потом они понадобились для быстрой и обобщенной оценки деятельности ученого; по мере выявления недостаточности каждой появлялись новые, характеризующие новые стороны общественного признания. Разумеется, как и всякие количественные характеристики интеллектуальной деятельности, они имеют существенные ограничения, а их безоговорочное применение вызывает все большие негативные последствия. Обо всем этом очень метко и подробно говорится в статье П.Ю. Чеботарева. Впрочем, об этом же написаны десятки (если не сотни) других критических статей; понимание опасности бездумного применения таких показателей давно присуще научному сообществу. В других областях использование числовых показателей еще более опасно.
Например, никто не станет доказывать, что школьная оценка (у нас - от двойки до пятерки) дает исчерпывающую характеристику знаний и способностей школьника. Это понимание вызвало появление более детализированной числовой оценки типа ЕГЭ. Попытка применять ее (и только ее) привела к серьезным перекосам в российском образовании. Но это, пожалуй, иллюстрация российской специфики; вернемся к западным реалиям.
Для чего там используются все эти показатели типа индекса Хирша? Для стандартного научного работника есть главная жизненная ситуация, когда используется его оценка - это продвижение по научной лестнице (и коррелированная с этим зарплата). Кого возьмут в качестве постдока в престижный университет? Когда ему дадут теньюр? Переведут ли его на должность полного профессора? Вот ключевые моменты выбора, и этот выбор делается на основе неких оценок. Но в действительности эти оценки лишь в малой степени опираются на формальные показатели. Да, количество публикаций и импакт фактор журналов, где они напечатаны, учитываются, но это, пожалуй, первичный критерий в сложной процедуре отбора. Основную роль играют рекомендации экспертов. В их рекомендательных письмах подробно описывается, каков вклад автора в решение тех или иных конкретных задач, каков научный потенциал соискателя. Часто прямо пишется, что на взгляд рекомендующего кандидат входит в Шр-10 (т.е. в 10% «верхушку») научного сообщества в данной области науки, или некие аналогичные цифровые характеристики. Но практически никто в рекомендательном письме не будет ссылаться на индекс Хирша или что-то в этом роде. Кроме того, эксперты пишут о человеческих качествах ученого, его умении работать в коллективе, его способностях к преподаванию и т.д. Наконец, огромную роль играет личный доклад соискателя позиции на семинаре, куда его приглашают. Таким образом, все страхи по поводу засилья Хирша в научной жизни сильно преувеличены.
Стоит сказать и об экспертах, на основе рекомендаций которых принимаются решения по приему на работу и продвижению по
карьерной лестнице. Кто они? Может быть, именно они выбираются по формальным показателям? Во-первых, сообщества специалистов в каждой предметной области науки не столь уж велики, и в каждом из них есть свой «гамбургский счет» [5]. Например, в советской математике все знали, что крупнейшие математики - это Колмогоров, Гельфанд, Канторович (и еще 2-3 человека), а из молодых - Арнольд, Новиков, Манин, Синай, Фаддеев (плюс еще несколько). И это заметно отличалось от официального табеля о рангах - Гельфанд не был академиком, а академики Х, Y, Z, увенчанные всеми регалиями, не были сопоставимы с ним ни по таланту, ни по уровню влияния. Во-вторых, в западной науке есть объективные показатели, выделяющие научную элиту. Это лауреаты престижных научных премий, об этом пишет П.Ю. Чеботарев. Но это высшая элита, а есть и значительный отряд крупнейших ученых, который можно узнать по их месту работы. Если математик является профессором в Беркли, Кембридже, Стенфорде, MIT или в университетах такого же уровня, то его принадлежность к кругу сильнейших не вызывает сомнения. При этом важно, что рейтинги университетов, хотя и определяются на базе числовых показателей, обычно никем не оспариваются (впрочем, есть и исключения - например, ряд немецких университетов сознательно не участвует в рейтингах). Существенно также, что оценка - многокритериальная.
Есть, пожалуй, еще одна важная область, где решения принимаются на основе оценок деятельности ученого. Это - получение разного рода грантов. Гранты в жизни западных ученых играют важную роль, впрочем, иную, чем в России. На гранты исследователь содержит своих аспирантов и закупает дополнительное оборудование. Гранты выгодны ему и потому, что университет, весьма заинтересованный в них, может снизить преподавательскую нагрузку обладателю грантов. Однако гранты даются не на основе числа публикаций или иных показателей такого рода, а на основе оценки конкретной заявки, и такая оценка вновь делается экспертами.
В некоторых странах (например, Мексике) существует и система «надбавок» к зарплате за публикации и участие в кон-
ференциях. Эта система появляется и в нашей стране, что вызывает принципиальные споры. Однако в большинстве западных стран прямой зависимости между зарплатой и числом публикаций нет.
Наконец - об одной проблеме, которую П.Ю. Чеботарев называет «спасти рядового решателя трудных задач». Я бы сказал, что это несуществующая категория: «рядовых решателей трудных задач» не бывает. Все они - штучные объекты; каждый из них - особенный. Таких людей очень мало, все они, как правило, на виду, к каждому нужен особый подход. Но уж что точно им не грозит - что их задавит индекс Хирша. Если вспомнить историю Г. Перельмана, на которого ссылается П. Чеботарев, то еще до того, как он доказал гипотезу Пуанкаре, он проявил свои выдающиеся математические способности и получил несколько престижных приглашений на работу в Америку на основе совсем небольшого числа публикаций. То, что он отказался от этих предложений, говорит о его «нерядовом» характере; ему то уж определенно нет дела до роли индекса Хирша.
Так что же, болезни западной науки, которые перечисляет П.Ю. Чеботарев - поток слабых работ, гонка за числом публикаций, спешка и неаккуратности - разве они не существуют? Увы, все это - грустная реальность. Но несколько факторов позволяют смотреть на этот процесс не столь мрачно. Прежде всего, эти явления характерны в первую очередь для исследователей из развивающихся стран типа Китая. Им нужно поскорее попасть в круг признанных ученых, и они не очень разборчивы в достижении заданной цели. Иногда так ведет себя и западная научная молодежь, и ученые среднего уровня - им важно пробиться наверх побыстрее. Для научной элиты такое поведение нехарактерно - оно быстро распознается и осуждается в кругу специалистов. Наконец, самое главное - это способность демократических сообществ к преодолению недостатков. Сейчас эти болезни поняты и осознаны научным сообществом; нет сомнения, что они не смертельны и для них будет найдено лекарство.
3. Российский пациент
С ним ситуация гораздо более серьезна. Совершенно справедливо пишет П.Ю. Чеботарев о главной болезни российской науки - ее хронической нищете. Эта нищета - следствие глубоких причин, главные из которых очевидны. Прежде всего, это политика властей, которым наука не нужна. Они не понимают, что без фундаментальной науки не будет и прикладной, не будет качественного образования, и страна будет обречена быть отсталой во всем. К сожалению, такое отношение к ученым проникло и в общественное мнение. При опросах школьников выясняется, что никто из них не хочет идти в науку, ученые воспринимаются как чудаки и маргиналы. Те частичные меры, которые иногда принимаются (мегагранты, Сколково), не могут изменить ситуацию. До тех пор, пока профессор получает много меньше, чем квалифицированный рабочий или средний клерк в фирме, надеяться на какой-то подъем не приходится. Любопытные цифры о средней зарплате профессора государственного университета в 28 разных странах можно найти на сайте http://acarem.hse.ru/t2g1. Производит впечатление, что в Турции и Колумбии она в 4 раза выше, чем в России, в Нигерии - в 6 раз, а в Малайзии - даже в 8! Стоит вспомнить, что в 1946 году, сразу после войны, Сталин провел кардинальную реформу в высшем образовании и науке. Он поднял оплату за ученое звание или степень примерно в 2,5-3 раза. После этого зарплата профессора стала в 7 раз больше, чем квалифицированного рабочего. Ясно, что Сталину была нужна атомная бомба и для этого - ученые-физики. Однако у диктатора был достаточный кругозор, чтобы понимать, что наука - единое целое, и он повысил зарплату всем ученым, включая гуманитариев. После этого начался интенсивный подъем советской науки, который продолжался примерно 20 лет. За это время была создана атомная и водородная бомба, запущен спутник, построена в начале 50-х первая советская ЭВМ, получены нобелевские премии по физике, решена 13-я проблема Гильберта. Не стоит видеть в этом идиллию - в те же годы была разгромлена генетика, подавлена
философия, начались гонения на «космополитов», экономические науки проверялись на верность марксизму-ленинизму... Я хотел лишь показать, что демонстрация интереса власти к науке, подкрепленная серьезными экономическими мерами, может дать эффект даже в самых неблагоприятных условиях.
В то же время ясно, что ждать столь радикальных шагов в наших условиях не приходится. Что же делать? Можно пытаться спасти и развивать то, что еще живо в российской науке. И здесь первый вопрос - как выделить эти живые островки? На основе каких критериев? Нужно помнить, что система экспертизы в стране совершенно искажена. Нам оставлена в наследство средневековая иерархическая структура в виде Академии наук. Члены академии, выбираемые по принципу отрицательного отбора самими же академиками, лишь с большой натяжкой являются научной элитой страны. Проделайте небольшой эксперимент. Зайдите на сайт РАН www.ras.ru, откройте страничку своего отделения и потом секции (для специалистов по управлению это секция проблем машиностроения и теории управления http://www.ras.m/wm/db/show_dpt.asp?P=oi-208.ln-m.id-250). Там вы найдете список академиков и член-корреспондентов секции (в нашем случае их 68). Посчитайте, скольких членов секции вы знаете по фамилиям? А у скольких из них вы знаете научные труды (книги, по которым вы учились?) С другой стороны, попробуйте составить список людей, которых вы сами считаете наиболее авторитетными в вашей области. Насколько пересекаются эти списки?
Поэтому если доверить выбор групп, которые нужно поддержать, научному руководству (т.е. системе РАН), как это сейчас и делается в рамках программ Президиума академии или ее отделений, результат будет очевиден. И здесь конструктивную роль могут сыграть столь критикуемые формальные показатели. Прежде всего, это просто число публикаций ученого или возглавляемой им группы. Обычно работающий ученый публикует примерно от 1 до 5 работ в год. Разумеется, это число сильно варьирует по областям наук, равно как и число соавторов в статье. Есть очень продуктивные ученые (эта традиция
восходит к Эйлеру, ему принадлежит более 800 работ, причем публикация из его архива продолжается до сих пор); в 20-м веке такими авторами были Гельфанд и Беллман. В то же время бывают и другие крайности; часто приводят в пример Галуа и Абеля (первый погиб в 20 лет, второй умер в 26). Уже проверка по этому критерию многих официальных генералов науки производит сильное впечатление. При этом, конечно, нужно очистить их публикации от поздравлений, некрологов и т.п. Однако второй критерий - число ссылок на работы автора (индекс цитирования, Citation Index) - не связан непосредственно с количеством публикаций, а говорит исключительно об их влиянии на последующее развитие науки. Здесь обычно используют западные базы данных Web of Science, Science Direct, Google Scholar, Publish or Perish (последние два являются открытыми). В большинстве из них отражены в основном публикации на английском; для статей на русском языке применяют и Российский индекс научного цитирования (РИНЦ); к сожалению, он далек от совершенства. Следующий критерий - суммарный импакт-фактор - учитывает не просто количество публикаций автора, но и авторитет тех журналов, в которых они опубликованы. Публикации в западных журналах гораздо весомее, и их наличие говорит о достаточно высоком уровне квалификации автора. Наконец, подвергаемый остракизму индекс Хирша дает еще одну характеристику - наличие многих высокоцитируемых работ автора.
Эти формальные критерии позволят выделить первоначальный круг экспертов, которые могли бы принять участие в объективной оценке научных коллективов. Именно таким образом функционирует общественный проект «Корпус экспертов» [1]. За начальную точку взяты известные списки Б. Штерна, http://expertcorps.ru/science/whoiswho, составленные на основе Web of Science и содержащие списки российских ученых, на которых суммарное число ссылок превышает одну тысячу или число ссылок на работы последних семи лет превышает сто. Там же показано и число публикаций этих авторов, и их индекс Хирша. Я рекомендую читателю взглянуть на такой список по
специальности «Математика» (куда включены авторы и по Computer Science и теории управления)
http://expertcorps.ru/science/whoiswho/by_branch/mathx, в нем 86 человек (около 10 могут быть отнесены к теории управления) и сопоставить со своими ожиданиями. Разумеется, формирование корпуса экспертов не должно ограничиться таким списком, он должен расширяться и уточняться на основе неформальных обсуждений и опросов. К сожалению, по математике (понимаемой в широком смысле) и ее подобластям такая работа еще не проводилась.
Что касается роли показателей для поощрения научных работников, то она очень важна. Во-первых, нам нужно преодолеть отечественную лень и безответственность. В советские времена принято было считать, что наши труды - шедевры, а с ними не надо торопиться; писать по одной статье в год и считать себя подлинным ученым было хорошим тоном. Однако такой же линии поведения придерживались и бездельники, которые сейчас остались теми же бездельниками, но взяли на вооружение весь арсенал демагогии против способов формального учета эффективности работы. Во-вторых, как совершенно справедливо пишет П.Ю. Чеботарев, серьезнейшей болезнью российской науки является провинциализм. Он отчасти объясним исторически: оторванность от мировой науки, разобщенность научных центров, привычка заниматься той же тематикой, что и научный руководитель, отсутствие средств на поездки, плохое знание английского. Однако провинциальная наука умрет и при финансовой поддержке; надо решительно перестраиваться. А для этого - писать в престижные журналы (особенно западные), не боясь неудач [3]; ездить на международные (и по настоящему авторитетные) конференции [2]. Формальные показатели поддерживают именно такой стиль поведения.
4. Заключение
Повторюсь - опасения по поводу наукометрических показателей сильно преувеличены. Как и всякий инструмент, он хорош
в руках умного врача. При этом болезни, которые надо лечить, совершенно различны у нас и на Западе.
Литература
1. ПОПОВ С., ФЕЙГЕЛЬМАН М., ЦИРЛИНА Г. Пять лет работы «Корпуса экспертов». Предварительные итоги // Троицкий вариант. - 2012. - №119. - С. 2-3.
2. ФРАДКОВ А.Л. Научные конференции по управлению: цель или средство? // Автоматика и телемеханика. - 2012. - №9.
- С. 149-158.
3. ФРАДКОВ А.Л. Как опубликовать хорошую статью и отклонить плохую. Заметки рецензента // Автоматика и телемеханика. - 2003. - №10. - С. 149-157.
4. ЧЕБОТАРЕВ П.Ю. Наукометрия: как с ее помощью лечить, а не калечить? // Управление большими системами. -2013. - № 44 - С. 14-31.
5. ШКЛОВСКИЙ В.Б. Гамбургский счет. - Москва, 1928.
SCIENTOMETRICS: WHO IS THE PATIENT FOR THIS MEDICINE?
Boris Polyak, Institute of Control Sciences of RAS, Moscow, Doctor of Science, professor (Moscow, Profsoyuznaya st., 65, (495)334-88-29, boris@ipu.ru).
Abstract: This article is motivated by the discussion paper of P. Chebotarev. We insist on that the situation with the use of scien-tometrics is dramatically different in the context of Russian and of foreign science. In Russian case the role of formal criteria can be strictly positive.
Keywords: scientometrics, Russian science, foreign science.
Поступила в редакцию 31.01.2013.
Опубликована 31.07.2013.
