УПРАВЛЕНИЕ ИССЛЕДОВАНИЯМИ
И. Д. Котляров
УПРАВЛЕНИЕ ПРОДУКТИВНОСТЬЮ НАУЧНОЙ РАБОТЫ ПРОФЕССОРСКО-ПРЕПОДАВАТЕЛЬСКОГО СОСТАВА
В статье дана классификация показателей продуктивности научной деятельности, составлен перечень критериев, которым должны удовлетворять такие показатели, выполнен анализ используемого в России показателя результативности научной деятельности, показана его непригодность для измерения результатов научной деятельности, разработаны новые показатели продуктивности научной деятельности и методика их расчета, предложен способ расчета заработной платы профессорско-преподавательского состава на основе этих показателей.
Ключевые слова: показатель результативности научной деятельности, индекс цитирования, импакт-фактор.
I. D. Kotlyarov Faculty staff scientific output management
Abstracts: the article contains a classification of indexes of scientific output and an analysis of the index of effectiveness of scientific activity used in Russia to evaluate productivity of scholars. A list of criteria an effective index of scientific output should meet is proposed. It is demonstrated that this index has major flaw and should not be used for measurement of scientific output. New indexes are proposed. It is explained how these indexes can be used to calculate a professor's salary.
Key words: index of scientific output, citation index, impact factor.
ля российской высшей школы проблема эффективной организации научной работы имеет особую актуальность, так как профессорско-преподавательский состав в ряде случаев относится к этому аспекту своих служебных обязанностей весьма формально: по сути дела, о необходимости демонстрации своих научных результатов (как правило, в виде публикаций в сборниках заочных конференций или в платных журналах, не рецензирующих поступающие статьи) преподаватель высшей школы вспоминает только перед прохождением конкурса на замещение должности или при подаче документов на получение звания доцента (профессора). Такой отрыв профессорско-преподавательского состава от науки
© Котляров И. Д., 2009
ведет к отсутствию знания (вследствие отсутствия необходимости в нем) современных результатов исследований, полученных в соответствующей отрасли науки в России и за рубежом, и к отсутствию новых по содержанию учебных пособий (публикуемые учебные материалы чаще всего представляют пересказы старых учебников), что влечет за собой низкое качество профессиональной подготовки выпускников вузов и их несоответствие требованиям работодателей.
В силу этого стимулирование профессорско-преподавательского состава к участию в научной работе имеет большое значение для обеспечения качества российского высшего образования. Одним из методов такого стимулирования
является использование количественных показателей для оценки результативности научной деятельности, с последующим учетом этих показателей при расчете величины заработной платы и при продвижении по карьерной лестнице.
Специфика научной работы не позволяет разработать абсолютно объективные показатели продуктивности научной деятельности (ППНД), на что многократно указывали противники такой методики. Однако столь же очевидно, что управление любым видом деятельности нуждается в наличии формальных количественных показателей. Поэтому, при всей несомненной спорности существующих ППНД, от их использования, на наш взгляд, не только не следует отказываться, но, напротив, необходимо повсеместно внедрять их в практику управления профессорско-преподавательским составом высших учебных заведений. При этом, разумеется, следует четко очерчивать пределы применения этих показателей.
Ниже рассматриваются основные виды показателей продуктивности научной деятельности, используемые в России и мире, исследуются принципы, которым должны соответствовать эти показатели, и способы применения ППНД, а также предлагается новая методика их расчета.
Виды показателей продуктивности научной деятельности
В мировой и российской практике итогом научной деятельности считается регулярное информирование исследователем своих коллег о полученных им результатов. Это информирование принимает форму публикаций научных статей и монографий, выступлений на конференциях, регистрации патентов и т. д. Соответственно, измерение продуктивности научной деятельности происходит путем оценки интенсивности и эффективности этого информирования.
Изучение используемых в мире методов оценки научной работы позволяет сделать вывод о том, что существующие показатели могут быть классифицированы по двум основным критериям — по способу оценки значимости научных результатов и по однородности.
По способу оценки значимости научных результатов, полученных отдельным исследователем, существующие показатели можно разбить на следующие основные группы:
1. Валовые показатели — при их расчете значимость научных результатов во внимание не принимается, оценивается лишь их количество.
Эти показатели обычно рассчитываются как суммарное число научных работ, опубликованных исследователем за определенный период, как объем этих работ в авторских листах, как число выступлений на конференциях и т. д.; служат подтверждением факта ведения исследователем научной деятельности, но ничего не говорят о ее качестве. Достоинство этих показателей — простота расчета, недостаток — возможность подмены подлинно научных результатов потоком наукообразных публикаций.
2. Качественные показатели — характеризуют научный уровень полученных исследователем результатов. Как правило, качество этих результатов определяется на основе оценки качества изданий, в которых они были опубликованы. Примером может служить более высокий вес статей в журналах из «списка ВАК» при расчете применяемых в России ППНД.
3. Показатели восприятия — описывают влияние научных результатов исследователя на общее развитие науки. В основе расчета этих показателей лежит оценка использования опубликованных исследователем результатов другими учеными. Характерным примером такого показателя является индекс цитирования (Scientific Citation Index, SCI), рассчитываемый Thomson Reuters и представляющий собой число ссылок на работы исследователя за определенный период. Среди научного сообщества эти показатели воспринимаются как наиболее престижные. В России существует собственный российский индекс научного цитирования (РИНЦ); данный проект реализует Научная электронная библиотека Elibrary.ru.
Смешанные показатели — при расчете этих показателей используются параметры разных групп. В качестве примера можно привести показатель вклада монографий ПВМПРНД в общий показатель результативности научной деятельности (ПРНД) ученого, который используется в российских учреждениях науки и высшего образования и рассчитывается по следующей формуле:
ПВМпрнд = М • V,
где M — множитель, учитывающий качество монографии (принимает более высокие значения для монографий, изданных за рубежом, и для монографий, поддержанных некоторыми грантами); этот множитель относится к факторам второй группы;
V — объем монографии в авторских листах (показатель первой группы).
По критерию однородности ППНД делятся на:
— однородные (для их расчета берутся однотипные научные результаты: например, только публикации в журналах, или только число зарегистрированных патентов);
— неоднородные (при их расчете во внимание принимаются разные виды научных результатов).
В настоящее время в России в разных ситуациях используются следующие ППНД:
1. При получении ученого звания доцента претендент должен подтвердить наличие у него установленного числа научных и учебно-методических публикаций за определенный промежуток времени. Это число различно для соискателей звания доцента и профессора. Например, для получения звания доцента исследователь должен за последние три года выступить в качестве:
— автора (соавтора) учебника (учебного пособия) или не менее двух учебно-методических работ;
— автора (соавтора) монографии (главы в монографии) или не менее двух научных работ.
То есть в этом случае используются два валовых показателя, причем их абсолютная величина значения не имеет — важно лишь, чтобы они были не ниже установленного порога.
2. Для защиты диссертации на соискание ученой степени кандидата (доктора) наук диссертант обязан иметь не менее одной (соответственно — семи) статей в журналах, вошедших в «список ВАК». Очевидно, что здесь речь идет о показателе второй группы (качественном), при этом также задается лишь его нижний порог (т. е. превышение этого порога никак не поощряется, важно лишь наличие минимально требуемого числа публикаций).
3. При расчете стимулирующих выплат за ведение научной деятельности используется уже упоминавшийся выше показатель результативности научной деятельности. Общая формула расчета этого показателя имеет следующий вид:
n m l ^ V
ПРНД = ПК
1=1 j=1 k=1 CAjk
(1)
где ПК — повышающий коэффициент, присвоенный определенной категории ученых (принимает более высокие значения для молодых исследователей);
п — число видов научной деятельности (к самостоятельным видам относятся, как правило, публикация статей, участие в конференциях,
публикация монографий, руководство аспирантами, руководство дипломными работами и т. д.);
m — число подвидов научной деятельности в рамках ¿-го вида (например, для вида деятельности «Публикация статей» подвидами будут публикация статей в российских журналах и публикация статей в зарубежных журналах);
l — число научных результатов, полученных в рамкахj-го подвида ¿-го вида научной деятельности (например, число статей, опубликованных в зарубежных научных журналах);
3jk — значимость k-го результата (например, для статей, опубликованных в журналах с высоким импакт-фактором, она выше);
— объем k-го результата в выбранных единицах измерения (например, для монографий — число авторских листов, для статей — одна статья);
CAjk — коэффициент, позволяющий учесть наличие соавторов у k-го результата.
Первые два показателя по своей сути имеют разовый характер (т. е. используются в исключительных ситуациях — при присвоении ученого звания или присуждении ученой степени), тогда как третий показатель призван служить для непрерывной оценки текущей научной деятельности исследователя. По этой причине первые два показателя останутся за пределами рассмотрения данной статьи, а ниже будут описаны проблемы, связанные с использованием ППНД.
Основным показателем, используемым в мировой практике для оценки результативности научной деятельности, является уже упоминавшийся выше индекс цитирования SCI.
Использование показателя продуктивности научной деятельности как инструмента управления эффективностью научной деятельности
Сформулируем следующие требования, которые должны соблюдаться при использовании показателя продуктивности научной деятельности:
1. При его расчете должны использоваться только те переменные, которые характеризуют собственно научную деятельность. Характеристики других видов деятельности (например, педагогической) не могут быть включены в показатель ППНД.
2. Методика расчета показателя не должна допускать скрытой или явной дискриминации отдельных категорий научных работников.
3. Методика расчета показателя должна стимулировать научных работников на получение важных и востребованных обществом результатов научной деятельности. Из этого требования вытекают следующие выводы:
— методика расчета не должна подгоняться под возможности отдельного ученого или научного учреждения;
— при использовании данной методики не должна возникнуть ситуация, при которой малое число хороших научных работ и большое число работ низкого уровня будут описываться формально равными значениями показателя;
— значения и единицы измерения величин, входящих в формулу расчета ППНД (например, в случае формулы (1) — величина значимости
и единица измерения объема научного результата), должны определяться или рассчитываться по определенной методике, а не задаваться произвольно.
4. При использовании ППНД для расчета оплаты труда научного работника необходимо принимать во внимание его абсолютное значение — чем оно больше, тем выше оплата.
Рассмотрим, насколько этим принципам соответствуют используемые в России ПРНД. Анализ проводится на основе методики расчета ПРНД, принятой в Институте физики 3емли РАН (далее — ИФ3), однако его результаты справедливы для всех ПРНД, применяемых в научных и высших учебных заведениях Российской Федерации, так как принципы расчета этих показателей во всех учреждениях одинаковы и различаются только числом слагаемых п и т и значимостью 3.к каждого вида научной деятельности.
Согласно этой методике, при расчете ПРНД учитываются следующие виды научной деятельности:
1) публикация статей в российских и зарубежных научных журналах;
2) публикация в сборниках конференций;
3) публикация монографий, учебников и учебных пособий;
4) выступления на конференциях;
5) патенты;
6) карты;
7) разработка и доработка учебных курсов, читаемых в вузе;
8) руководство соискателями научной степени и дипломниками.
Из этого перечня очевидно, что ПРНД не является «чистым» показателем продуктивности научной деятельности, так как в него входят факторы, имеющие к науке весьма опосредован-
ное отношение, а именно — публикация учебников и учебных пособий, разработка учебных курсов и руководство дипломными работами.
Безусловно, учебник или учебное пособие могут содержать новые научные результаты, полученные автором, но эти издания ни в коем случае не могут рассматриваться как место первичной публикации результатов — по всем правилам научной работы они должны быть предварительно опубликованы в статьях или монографиях и получить одобрение научного сообщества. В противном случае речь идет о том, что студентам под видом научных результатов преподносят непроверенные и неапробированные гипотезы, что является нарушением научной и педагогической этики.
Это утверждение в еще большей степени справедливо для разработки учебных курсов.
Что касается дипломных проектов, то они представляют собой в первую очередь квалификационные работы и претендовать на научную новизну не могут.
Таким образом, ПРНД не соответствует первому требованию, так как в него включены показатели, характеризующие не научную, а педагогическую деятельность исследователя.
Особо следует отметить, что речь не идет о том, что педагогическая деятельность не важна — напротив, нужно всячески поощрять участие ученых в преподавательской работе. Однако эффективность этой работы не должна включаться в показатели результативности научной деятельности, так как это приводит к путанице и к нарушению логики самого ПРНД. Гораздо разумнее для этих целей было бы разработать отдельный показатель результативности педагогической деятельности.
Формула (1) позволяет убедиться в том, что ПРНД допускает в силу наличия в нем повышающего коэффициента для молодых сотрудников явную дискриминацию сотрудников старшего возраста (более 40 лет), так как для них повышающий коэффициент равен 1. Для сотрудников до 40 лет значение этого коэффициента варьирует в ИФ3 от 1,5 до 3 в зависимости от срока, истекшего с момента окончания вуза (этот срок для получения повышающего коэффициента не должен превышать 10 лет), и от возраста, в котором была защищена кандидатская или докторская диссертация (не более 40 лет).
Приведенный выше перечень видов научной деятельности, включаемых в расчет ПРНД, кроме того, показывает, что методика определения ПРНД допускает неявную дискримина-
цию сотрудников, не имеющих ученой степени, поскольку они не имеют права руководить аспирантами и у них в принципе отсутствует соответствующее слагаемое в расчете ПРНД. Важно отметить, что вклад любого вида научной деятельности в суммарную величину ПРНД может быть равен нулю по двум причинам:
— научный сотрудник по собственной воле не занимается соответствующим видом научной деятельности (что может служить основанием для организационных выводов, но дискриминацией названо быть не может);
— научный сотрудник не имеет права заниматься данным видом научной деятельности — и в этом случае речь идет о дискриминации.
Таким образом, второму требованию методика расчета ПРНД также не соответствует, так как допускает явную и скрытую дискриминацию
отдельных категорий научных сотрудников, что говорит о необъективности показателя.
В мировой практике наиболее важным показателем интенсивности научной деятельности является число публикаций в ведущих мировых журналах. Именно такие публикации служат основой для расчета наиболее престижного ППНД — индекса цитирования SCI. Остальные виды публикаций (монографии, доклады в сборниках конференций и т. д.) носят вторичный характер. Следовательно, целью ППНД должно стать преодоление изоляционизма российской науки и побуждение исследователей публиковать свои работы в признанных международных журналах.
Рассмотрим вклады отдельных подвидов научной деятельности в расчет ПРНД (см. таблицу).
Оценка значимости отдельных подвидов научной деятельности по методике Института физики Земли РАН*
Вид и подвид научной деятельности Показатель значимости полученного результата, 3 Единица измерения полученного результата
1. Публикация научных статей
1.1. Публикация в журнале «Физика Земли» 30 Одна публикация
1.2. Публикация в российских рецензируемых журналах по профилю ИФЗ 20 То же
1.3. Публикация в российских журналах из «списка ВАК» -9, если < 0,2 -45 !¥, если !¥ > 0,2 »
1.4. Публикация в зарубежных научных журналах -6, если 1¥ < 0,2 -30 !¥, если !¥ > 0,2 »
1.5. Публикация в сборниках конференций 4 »
2. Публикация монографий
2.1. Публикация монографий, поддержанных грантом РФФИ, президиумом РАН или отделением РАН 3 Авторский лист
2.2. Публикация монографий по рекомендации ученых или редакционно-издательских советов институтов РАН или ведоственных вузов, а также учебников с грифом Министерства образования и науки России или УМО 3. Разработка новых учебных курсов 2 То же
3.1. Разработка новых учебных курсов 20 Семестр (т. е. учитывается число семестров, в течение которых читается учебный курс)
* Обозначения соответствуют формуле (1), № — импакт-фактор журнала, рассчитывается как отношение числа ссылок на статьи, опубликованные в данном журнале, к числу опубликованных статей за определенный период. Для удобства из таблицы исключен способ учета соавторов: предполагается, что результаты получены одним исследователем самостоятельно. В таблицу включены не все виды и подвиды научной деятельности, учитываемые в методике ИФ3.
Из таблицы видно, что:
— методика расчета ПРНД подогнана под специфику российских научных учреждений вообще и ИФ3 в частности, так как, во-первых, публикации в профильных для ИФ3 российских журналах (с низким импакт-фактором или без такового вообще; см. табл., п. 1.2) имеют очень высокую значимость, во-вторых, публикации в российских журналах имеют более высокую значимость, чем в зарубежных (ср. п. 1.3 и 1.4 таблицы);
— публикация большого количества работ недостаточно высокого уровня позволит исследователю получить то же итоговое значение ПРНД, что и публикация малого числа работ высокого уровня. Например, публикация в зарубежном журнале с импакт-фактором 0,5 может быть легко заменена публикацией четырех статей в сборниках конференций. Как известно, публикация в сборниках конференций представляет собой самый простой и быстрый способ публикации, используемый российскими исследователями: отсев материалов в большинстве случаев отсутствует, и за сравнительно небольшую плату организаторы конференций готовы публиковать все что угодно, тогда как публикация в зарубежном журнале, входящем в базу SCI, требует от автора значительных усилий по подготовке и доработке статьи;
— величины значимости вкладов видов научной деятельности заданы произвольным образом: например, неясен источник столь высокой значимости публикаций в журнале «Физика Земли» (по прилагаемой таблице импакт-фактор этого журнала равен 0,092, и в таком случае значимость публикаций в нем должна была бы в соответствии с п. 1.3 таблицы быть равной 9, но никак не 30).
Таким образом, третьему критерию ПРНД также не соответствует.
Что касается учета значения ПРНД при расчете дополнительных выплат, то информации на этот счет источник не содержит. Однако по данным высших учебных заведений, дополнительные выплаты назначаются в одинаковом размере всем сотрудникам, у которых величина ПРНД превысила определенное значение, т. е. прослеживается нарушение четвертого критерия.
Из сказанного очевидно, что ПРНД, рассчитываемый по описанной выше методике (кото-
рая, как уже говорилось, одинакова у всех использующих ее научных и высших учебных заведений), не может служить объективной мерой эффективности научной деятельности1.
Разработка показателя продуктивности научной деятельности и методики его использования для расчета выплат профессорско-преподавательскому составу
Выше были перечислены требования, которым должен удовлетворять ППНД, и было сказано, что, на наш взгляд, приоритетной задачей российской науки является преодоление изоляционистских тенденций и активное включение в мировой научный процесс, в том числе и путем публикаций результатов своих исследований в ведущих международных журналах. Следовательно, ППНД должен рассчитываться таким образом, чтобы поощрять такие публикации (иными словами, размещение статей в иностранных журналах как вид научной деятельности должно иметь максимальную значимость). При этом необходимо также поощрять отечественных исследователей публиковать свои статьи и в ведущих российских журналах, чтобы содействовать формированию в нашей стране пула признанных на международном уровне высококлассных научных изданий.
Проблема «компенсации» (когда исследователю не важно, публиковать одну хорошую статью или много плохих, и в ряде случаев он предпочитает идти по пути наименьшего сопротивления и размещать статьи низкого качества в непрестижных журналах или сборниках заштатных конференций) может быть решена двумя способами:
1. ППНД определяется как однородный показатель, т. е. при его расчете учитывается только один вид (или даже подвид) научной деятельности;
2. ППНД определяется как неоднородный показатель, т. е. при его расчете учитывается несколько видов научной деятельности. Однако занимаясь «нецелевым» видом деятельности, ученый может набрать строго ограниченное число баллов (т. е. величина вклада этого вида деятельности, независимо от объема полученных результатов, имеет верхний предел), тогда как
1 Это ни в коем случае не является попыткой указать на непрофессионализм разработчиков методики расчета ПРНД Институтом физики Земли РАН, речь идет о порочности используемых российскими вузами и НИИ методик расчета ПРНД в принципе.
при «целевом» виде деятельности (в данном случае — при размещении статей в ведущих мировых журналах) такой верхний порог отсутствует. При этом методика расчета показателя этого типа должна быть построена таким образом, чтобы достигнуть требуемого для получения выплат минимального значения ППНД можно было, только опубликовав не менее одной статьи в ведущем мировом журнале.
На наш взгляд, наиболее удобен первый путь в силу своей простоты и однозначной направленности на целевой результат.
ППНД, как представляется автору, должен формироваться как качественный показатель: валовые показатели ничего не говорят об уровне научной деятельности, а до получения индекса цитирования ученым может пройти слишком много времени с момента публикации. Кроме того, индекс цитирования во многом субъективен — наибольшая его величина характерна для обзорных и методических работ. Наконец, ученый, направления работы которого не соответствуют текущей научной «моде», также будет характеризоваться низким уровнем индекса цитирования, хотя его работы могут быть высокого класса.
В качестве основы для расчета ППНД следует взять импакт-фактор журнала, в котором опубликована статья.
Методика расчета ППНД будет в этом случае иметь следующий вид:
1. ППНД за истекший год равен сумме им-пакт-факторов журналов, взятых за последний доступный год (как правило, величина импакт-фактора рассчитывается за год, предшествующий истекшему), в которых исследователь опубликовал свои статьи. Для российских журналов берется импакт-фактор, рассчитываемый Научной электронной библиотекой, для иностранных журналов — импакт-фактор Thomson Reuters. Для российских журналов, имеющих англоязычную версию, для которых рассчитываются оба индекса, берется максимальный из них (в зависимости от выбора импакт-фактора соответствующая публикация засчитывается либо как международная, либо как российская).
2. Если исследователь публиковался как в российских, так и в иностранных журналах и при этом максимальный импакт-фактор российского или иностранного журнала равен или больше 1, то ППНД удваивается.
3. Если исследователь публиковался как в российских, так и в иностранных журналах, и при этом максимальный импакт-фактор и рос-
сийского, и иностранного журнала равен или больше 1, то ППНД умножается на 3.
4. Если исследователь публиковался только в российских журналах, то ППНД умножается на 0,75.
Предлагаемый показатель можно назвать индексом научной продуктивности (ИНП).
Методика расчета выплат профессорско-преподавательскому составу на основе ИНП может иметь следующий вид:
1. Общий фонд выплат за научную деятельность разбивается на три части части: стимулирующий фонд — СФ, ден. ед. (90 % общего фонда); фонд единовременных выплат — ФЕВ, ден. ед. (10 %); фонд компенсации текущей научной деятельности (10 %).
2. Рассчитывается суммарное значение ИНПсум всех научных сотрудников учреждения за истекший год:
инпсум=£инп i,
i=1
где п — число научных сотрудников.
3. Размер стимулирующих выплат для ¿-го сотрудника — ВС., ден. ед., рассчитывается по формуле
ВС,
инп,.
инп
-СФ.
(2)
сум
4. Стимулирующие выплаты могут выплачиваться сотруднику единовременно или равномерно частями в течение года.
5. Фонд единовременных выплат служит для разовых поощрений научных сотрудников за публикацию монографий в ведущих российских и международных издательствах, получение научных премий, регистрацию патентов и т. д. Порядок расчета этих выплат регламентируется самим учреждением.
6. Фонд компенсации текущей научной деятельности распределяется в порядке, установленном ученым советом научного или образовательного учреждения, для стимулирования участников очных конференций.
Предлагаемая методика расчета и использования ИНП позволяет создать однозначное соответствие между оплатой труда исследователя и результатами его научной деятельности, ориентируя его при этом на создание приоритетных с точки зрения развития отечественной науки результатов.
Разумеется, предложенное выше распределение носит (90 %—10 %—10 %) условный
характер. На практике могут быть использованы другие пропорции, однако, по нашему мнению, стимулирующий фонд должен составлять большую часть общего фонда выплат за научную деятельность.
Выводы
Разработанная в данной статье методика не свободна от недостатков. В частности, может вызвать неприятие отказ от учета всех видов научной деятельности, кроме публикаций в журналах с импакт-фактором. Однако, на взгляд автора, для других видов научной деятельности могут использоваться единовременные выплаты из специально для этого предусмотренных фондов. Достоинство описанной методики в том, что она
прозрачна и задает четкие целевые ориентиры для российских ученых.
1. Методика расчета индивидуального ПРНД в ИФЗ им. О. Ю. Шмидта РАН [Электронный ресурс]. URL: http://www.ifz.ru/doc/2009/prnd_2 009/ PRND_methodics_2009.pdf (проверено 06.01.2010).
2. Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук (редакция апр. 2008 г.) [Электронный ресурс]. URL: http:// vak.ed.gov.ru/common/img/uploaded/VAK/ files_help_desk/per-04-2008.doc (проверено 06.01.2010).
3. Положение о порядке присвоения ученых званий : утверждено постановлением Правительства Российской Федерации № 194 от 29.03.2002.