CC BY
46
НОВЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ
УДК 001.89(051.2)
ПРОДУКТИВНОСТЬ НАУЧНОЙ РАБОТЫ ПРОФЕССОРСКО-ПРЕПОДАВАТЕЛЬСКОГО СОСТАВА: СПОСОБЫ ИЗМЕРЕНИЯ И МАТЕРИАЛЬНОГО СТИМУЛИРОВАНИЯ
И.Д. Котляров
(публикуется в порядке дискуссии)
Предложена классификация показателей результативности научной деятельности, составлен перечень критериев, которым должны удовлетворять такие показатели, выполнен анализ используемого в России показателя результативности научной деятельности (ПРНД), показана его непригодность для измерения результатов научной деятельности, разработаны новые показатели результативности научной деятельности и методика их расчета, предложен способ расчета заработной платы профессорско-преподавательского состава на основе этих показателей.
Ключевые слова: показатель результативности научной деятельности, индекс цитирования, импакт-фактор.
Введение
Стимулирование профессорско-преподавательского состава (1111С) к участию в научной работе имеет большое значение для обеспечения качества российского высшего образования, поскольку отрыв ППС от науки губительно сказывается на качестве образовательного процесса. Это влечет за собой низкое качество профессиональной подготовки выпускников вузов и их несоответствие требованиям работодателей.
Одним из методов такого стимулирования является использование количественных показателей для оценки результативности научной деятельности, с последующим учетом этих показателей при расчете величины заработной платы и при продвижении по карьерной лестнице. Ниже рассматриваются основные виды показателей результативности научной деятельности, исследуются принципы, которым они должны соответствовать, и способы их применения, а также предлагается новый показатель и методика его расчета.
Отметим, что проблема адекватного измерения качества научной деятельности не нова, и ей посвящен ряд публикаций (в частности, первые обсуждения этого вопроса происходили в нашей стране еще в эпоху СССР [1]), но она пока не получила окончательного решения в силу специфики объекта измерения. Автор данной статьи, разумеется, далек от мысли, что предлагаемая им методика является таким окончательным решением - он всего лишь стремится внести посильный вклад в разработку этой проблемы.
Виды показателей продуктивности научной деятельности
В мировой и российской практике итогом научной деятельности считается регулярное информирование исследователем своих коллег о полученных им результатах. Это информирование принимает форму публикаций научных статей и монографий, выступлений на конференциях, регистрации патентов и т.д. Соответственно, измерение продуктивности научной деятельности происходит путем оценки интенсивности и эффективности этого информирования.
По способу оценки значимости научных результатов, полученных отдельным исследователем, существующие показатели можно разбить на ряд основных групп.
9
1. Валовые показатели - при их расчете значимость научных результатов во внимание не принимается, оценивается лишь их количество. Эти показатели обычно рассчитываются как суммарное число научных работ, опубликованных исследователем за определенный период, как объем этих работ в авторских листах, как число выступлений на конференциях и т.д.;
2. Качественные показатели - характеризуют научный уровень полученных исследователем результатов. Как правило, качество этих результатов определяется на основе оценки качества изданий, в которых они были опубликованы (например, публикации в журналах, вошедших в перечень ВАК [2], считаются более качественными по сравнениями с публикациями в российских журналах, в этот перечень не включенных);
3. Показатели восприятия - описывают влияние научных результатов исследователя на общее развитие науки. В основе расчета этих показателей лежит оценка использования опубликованных исследователем результатов другими учеными. Характерным примером такого показателя является индекс цитирования (Science Citation Index, SCI), рассчитываемый Thomson Reuters и представляющий собой число ссылок на работы исследователя за определенный период. Среди научного сообщества эти показатели воспринимаются как наиболее престижные;
4. Смешанные показатели - при расчете этих показателей используются параметры разных групп. В качестве примера можно привести показатель вклада монографий ПВМПРНД в общий показатель результативности научной деятельности (ПРНД) ученого, который используется в научных учреждениях РАН [3] и рассчитывается по формуле
пвмшнд=м-г,
Здесь M - множитель, учитывающий качество монографии (принимает более высокие значения для монографий, изданных за рубежом, и для монографий, поддержанных грантами от определенных организаций); этот множитель относится к факторам второй группы; V - объем монографии в авторских листах (показатель первой группы).
По критерию однородности ПРНД делятся на
- однородные (для их расчета берутся однотипные научные результаты - например, только публикации в журналах или только число зарегистрированных патентов);
- неоднородные (при их расчете во внимание принимаются разные виды научных результатов).
Использование ПРНД как инструмента управления эффективностью научной
деятельности
Сформулируем требования, которые должны соблюдаться при использовании показателя продуктивности научной деятельности.
1. При его расчете должны использоваться только те переменные, которые характеризуют собственно научную деятельность. Характеристики других видов деятельности (например, педагогической) не могут быть включены в показатель ПРНД;
2. Методика расчета показателя не должна допускать скрытой или явной дискриминации отдельных категорий научных работников;
3. Методика расчета показателя должна стимулировать научных работников на получение важных и востребованных обществом результатов научной деятельности. Из этого требования вытекают следующие выводы:
- методика расчета не должна подгоняться под возможности отдельного ученого или научного учреждения;
методика расчета показателя не должна делать возможной ситуацию, при которой малое число хороших научных работ и большое число работ низкого уровня будут описываться формально равными значениями показателя.
В учреждениях РАН для оценки результативности научной деятельности используется показатель результативности научной деятельности (ПРНД). К сожалению, его использование было отменено в январе 2010 г., и в настоящий момент унифицированная методика оценки научной продуктивности ученых, которая бы применялась в большей части научных учреждений нашей страны, отсутствует. Это делает задачу разработки нового показателя еще более актуальной. Ниже, тем не менее, мы рассмотрим структуру ПРНД РАН на примере варианта, использовавшегося в Институте физики Земли РАН [3], для того, чтобы выявить недочеты этой методики и предложить свободные от них новые показатели результативности научной деятельности. Предварительно сделаем две важные оговорки:
1. алгоритм расчета ПРНД одинаков для всех учреждений РАН, различия заключаются в числе учитываемых видов научной деятельности;
2. в тех вузах, в которых осуществляется оценка эффективности научной работы сотрудников, эта оценка производится по аналогичному алгоритму, и поэтому правомерно произвести анализ показателя, используемого в учреждениях РАН, в статье, посвященной ситуации в вузах.
Общая формула расчета этого показателя имеет следующий вид:
Здесь ПК - повышающий коэффициент, присвоенный определенной категории ученых; п - число видов научной деятельности (к самостоятельным видам относятся, как правило, публикация статей, участие в конференциях, публикация монографий, руководство аспирантами, руководство дипломными работами и т.д.); т - число подвидов научной деятельности в рамках /-го вида (например, для вида деятельности «Публикация статей» подвидами будут публикация статей в российских журналах и публикация статей в зарубежных журналах); I - число научных результатов, полученных в рамках у'-го подвида /-го вида научной деятельности (например, число статей, опубликованных в зарубежных научных журналах); Зук - значимость к-го результата (например, для статей, опубликованных в журналах с высоким импакт-фактором, она выше); ¥ук - объем к-го результата в выбранных единицах измерения (например, для монографий - число авторских листов, для статей - одна статья); СА/'к - коэффициент, позволяющий учесть наличие соавторов у к-го результата.
Легко убедиться в том, что ПРНД представляет собой неоднородный качественный показатель. Согласно методике ИФЗ, при расчете ПРНД учитываются, в том числе, следующие виды научной деятельности: публикация монографий, учебников и учебных пособий; разработка и доработка учебных курсов, читаемых в вузе; руководство соискателями научной степени и дипломниками. Из этого перечня очевидно, что ПРНД не является «чистым» показателем продуктивности научной деятельности, так как в него входят факторы, имеющие к науке весьма опосредованное отношение. Таким образом, ПРНД не соответствует первому требованию.
Формула (1) позволяет убедиться в том, что ПРНД допускает явную дискриминацию в силу наличия в нем повышающего коэффициента. В случае ИФЗ этот повышающий коэффициент применяется для молодых сотрудников. Для сотрудников до 40 лет значение этого коэффициента варьируется в ИФЗ от 1,5 до 3 в зависимости от срока, истекшего с момента окончания вуза - этот срок для получения повышающего коэффициента не должен превышать 10 лет - и от возраста, в котором была защищена кандидатская или докторская диссертация (не более 40 лет).
п т I 1 V
I-1 X-1 *-1 '
(1)
Приведенный выше перечень видов научной деятельности, включаемых в расчет ПРНД, кроме того, показывает, что методика определения ПРНД допускает неявную дискриминацию сотрудников, не имеющих ученой степени, поскольку они не имеют права руководить аспирантами, и у них в принципе отсутствует соответствующее слагаемое в расчете ПРНД.
В мировой практике наиболее важным показателем интенсивности научной деятельности является число публикаций в ведущих мировых журналах. Именно такие публикации служат основой для расчета наиболее престижного ПРНД - индекса цитирования SCI. Остальные виды публикаций (монографии, доклады в сборниках конференций и т. д.) носят вторичный характер. Следовательно, целью ПРНД должно стать преодоление изоляционизма российской науки и побуждение исследователей публиковать свои работы в признанных международных журналах, иными словами, наибольшей значимостью при расчете ПРНД должны обладать публикации в научных журналах, включенные в международные базы научного цитирования.
Рассмотрим вклады отдельных подвидов научной деятельности в расчет ПРНД (табл. 11).
Вид научной деятельности Подвид научной деятельности Показатель значимости полученного результата (З1Й) Единица измерения полученного результата
1. Публикация научных статей 1.1. Публикация в журнале «Физика Земли» 30 Одна публикация
1.2. Публикация в российских рецензируемых журналах по профилю ИФЗ 20 Одна публикация
1.3. Публикация в российских журналах из списка ВАК - 9, если № < 0,2 ; -45Ш, если Ш > 0,2 Одна публикация
1.4. Публикация в зарубежных научных журналах - 6, если Ш< 0,2 ; -ЪОШ, если Ш> 0,2 Одна публикация
1.5. Публикация в сборниках конференций 4 Одна публикация
2. Публикация монографий 2.1. Публикация монографий, поддержанных грантом РФФИ, Президиумом РАН или Отделением РАН 3 Авторский лист
2.2. Публикация монографий по рекомендации ученых или редак-ционно-издательских советов институтов РАН или ведомственных вузов, а также учебников с грифов Министерства образования и науки России или УМО 2 Авторский лист
Табл. 1. Оценка значимости отдельных подвидов научной деятельности по методике
ИФЗ РАН
Из табл. 1 видно, что: методика расчета ПРНД подогнана под специфику российских научных учреждений вообще и ИФЗ, в частности, так как, во-первых, публикации в профильных для ИФЗ российских журналах (с низким импакт-фактором или без такового вообще,
1 № - импакт-фактор журнала. Рассчитывается как отношение числа ссылок на статьи в данном журнале за определенный период, к числу статей, опубликованных в этом журнале. Для удобства из табл. 1 исключен способ учета соавторов - предполагается, что результаты получены одним исследователем самостоятельно. В табл. 1 включены не все виды и подвиды научной деятельности, учитываемые в методике ИФЗ расчета ПРНД.
см. п. 1.2 табл. 1) имеют очень высокую значимость, во-вторых, публикации в российских журналах имеют более высокую значимость, чем в зарубежных (ср. пп. 1.3 и 1.4 табл. 1). Например, очень высока значимость публикаций в журнале «Физика Земли» (по прилагаемой таблице импакт-фактор этого журнала равен 0,092, и значимость публикаций в нем должна была бы, в соответствии с п. 1.3 табл. 1 , быть равной 9, но никак не 30); - публикация большого количества работ недостаточно высокого уровня позволит исследователю получить то же итоговое значение ПРНД, что и публикация малого числа работ высокого уровня. Например, публикация в зарубежном журнале с им-пакт-фактором 0,5 может быть легко заменена публикацией четырех статей в сборниках конференций (в том числе заочных).
Таким образом, третьему критерию ПРНД также не соответствует.
Из сказанного выше очевидно, что ПРНД, рассчитываемый по описанной выше методике, не может служить объективной мерой эффективности научной деятельности.
Разработка показателя продуктивности научной деятельности и методики его использования для расчета выплат профессорско-преподавательскому составу
Выше было сказано, что, на наш взгляд, приоритетной задачей российской науки является преодоление изоляционистских тенденций и активное включение в мировой научный процесс - в том числе и путем публикаций результатов своих исследований в ведущих международных журналах. Следовательно, ПРНД должен рассчитываться таким образом, чтобы поощрять такие публикации (иными словами, размещение статей в иностранных журналах как вид научной деятельности должно иметь максимальную значимость). При этом, однако, следует также поощрять отечественных исследователей публиковать свои статьи в ведущих российских журналах, чтобы содействовать формированию в нашей стране пула признанных на международном уровне высококлассных научных изданий.
Проблема «компенсации» (когда исследователю не важно, публиковать одну хорошую статью или много плохих, и в ряде случаев он предпочитает идти по пути наименьшего сопротивления и размещать статьи низкого качества в непрестижных журналах или сборниках заштатных конференций) может быть решена двумя способами:
1. ПРНД определяется как однородный показатель, т.е. при его расчете учитывается только один вид (или даже подвид) научной деятельности;
2. ПРНД определяется как неоднородный показатель, т.е. при его расчете учитывается несколько видов научной деятельности. Однако, занимаясь «нецелевым» видом деятельности, ученый может набрать строго ограниченное число баллов (т.е. величина вклада этого вида деятельности, независимо от объема полученных результатов, имеет верхний предел), тогда как при «целевом» виде деятельности (в данном случае - при размещении статей в ведущих мировых журналах) такой верхний порог отсутствует. При этом методика расчета показателя этого типа должна быть рассчитана таким образом, чтобы достигнуть требуемого для получения выплат минимального значения ПРНД можно было, только опубликовав не менее одной статьи в ведущем мировом журнале.
На наш взгляд, наиболее удобен первый путь в силу своей простоты и однозначной направленности на целевой результат. ПРНД, как представляется автору, должен формироваться как качественный показатель: валовые показатели ничего не говорят об уровне научной деятельности, тогда как до получения индекса цитирования ученым может пройти слишком много времени с момента публикации. Кроме того, индекс цитирования во многом субъективен - наибольшая его величина характерна для обзорных и методических работ. Наконец, ученый, направления работы которого не соответст-
вуют текущей научной «моде», также будет характеризоваться низким уровнем индекса цитирования, хотя его работы могут быть высокого класса.
В качестве основы для расчета ПРНД, по мнению автора, следует взять импакт-фактор журнала, в котором опубликована статья, по той причине, что импакт-фактор журнала является мерилом его качества и значимости для научной аудитории, и принятие статьи к публикации в журнал с высоким импакт-фактором само по себе служит высокой оценкой данной работы. Об использовании импакт-фактора в роли измерителя качества журнала (и, следовательно, качества публикуемых в нем материалов) писал создатель этого показателя Ю. Гарфилд [4], а формализованную методику применения им-пакт-фактора для оценки научной продуктивности разработали А. Шуберт и Т. Браун [5]. В соответствии с этой методикой, эффективность научной деятельности автора рассчитывается как сумма импакт-факторов журналов, опубликовавших его работы. Предлагаемая автором методика расчета ПРНД представляет собой дальнейшее развитие методики Шуберта-Брауна с учетом российской специфики и имеет следующий вид.
1. ПРНД за истекший период равен сумме импакт-факторов журналов (взятых за последний доступный год; как правило, величина импакт-фактора рассчитывается за год, предшествующий истекшему), в которых исследователь опубликовал свои статьи за истекший год. Для российских журналов берется импакт-фактор, рассчитываемый Научной электронной библиотекой, для иностранных журналов - импакт-фактор Thomson Reuters. Для российских журналов, имеющих англоязычную версию, для которых рассчитываются оба индекса, берется максимальный из них (в зависимости от выбора импакт-фактора соответствующая публикация засчитывается либо как международная, либо как российская).
2. Если исследователь публиковался как в российских, так и в иностранных журналах, и при этом максимальный импакт-фактор российского или иностранного журнала равен или больше 1, то ПРНД удваивается.
3. Если исследователь публиковался как в российских, так и в иностранных журналах, и при этом максимальный импакт-фактор и российского, и иностранного журнала равен или больше 1, то ПРНД умножается на 3.
4. Если исследователь публиковался только в российских журналах, то ПРНД умножается на 0,75.
Предлагаемый показатель можно назвать индексом научной продуктивности (ИНП).
Новизна методики состоит, как легко видеть, во-первых, во включении в показатель научной деятельности импакт-факторов, рассчитанных по разным базам (что необходимо для учета результатов, опубликованных в российских журналах), во-вторых - во введении поправочных множителей, призванных мотивировать российских исследователей к публикации как в зарубежных, так и в российских журналах. В настоящее время, к сожалению, наблюдается распад российского научного сообщества на две части - ученые, публикующие свои работы в мировых научных журналах (но избегающие публикации в отечественных изданиях), и ученые, печатающиеся в российских журналах (очень часто - издаваемых своим вузом и практически неизвестных широкой аудитории), и при этом даже не пытающиеся попасть в иностранные журналы. Это ведет к изоляции российской научной прессы от мировой науки и к катастрофическому падению ее качества.
Предлагаемые в пп. 2-4 значения поправочных множителей носят предварительный характер и должны быть рассчитаны специально. Эти значения, как уже было сказано, устанавливались исходя из основной задачи - поощрить исследователей за публикацию работ как в ведущих международных, так и в ведущих российских научных журналах. Последнее особенно важно, так как наша страна нуждается в собственных научных журналах мирового уровня, создание которых можно обеспечить только одним образом - стимулировать исследователей, привыкших публиковать свои работы в международных журналах, также размещать свои статьи в российских изданиях. Имен-
но опасность исчезновения российских научных журналов является одним из основных аргументов противников использования международного индекса цитирования и им-пакт-фактора как инструмента измерения результативности научной деятельности. На наш взгляд, предложенная выше методика позволяет устранить это возражение.
Методика расчета выплат профессорско-преподавательскому составу на основе ИНП может иметь следующий вид:
1. Высшее учебное заведение формирует в рамках фонда оплаты труда специальный фонд выплат за научную деятельность;
2. Общий фонд выплат за научную деятельность разбивается на три части - стимулирующий фонд СФ, ден. ед. (80% общего фонда), фонд единовременных выплат ФЕВ, ден. ед. (10%), и фонд компенсации текущей научной деятельности (10%);
3. Рассчитывается суммарное значение ИНПсум всех научных сотрудников учреждения за истекший год:
ИНП =Уинп
сум / j j
где n - число научных сотрудников;
4. Размер стимулирующих выплат для /-го сотрудника BQ, ден. ед., рассчитывается как
B^JSSkco, (2)
ИНП
сум
5. Стимулирующие выплаты могут выплачиваться сотруднику единовременно или равномерно частями в течение года;
6. Фонд единовременных выплат служит для разовых поощрений научных сотрудников за публикацию монографий в ведущих российских и международных издательствах, получение научных премий, регистрацию патентов и т.д. Порядок расчета этих выплат регламентируется самим учреждением;
7. Фонд компенсации текущей научной деятельности распределяется в порядке, установленном ученым советом научного или образовательного учреждения, для стимулирования участников очных конференций.
Разумеется, предложенное выше распределение носит (80-10-10) носит условный характер, однако, по нашему мнению, стимулирующий фонд должен составлять большую часть общего фонда выплат за научную деятельность. Кроме того, пока крайне малое число российских журналов обладает высоким значением импакт-фактора по версии Национальной электронной библиотеки - иными словами, импакт-факторы Национальной электронной библиотеки и Thomson Reuters несоизмеримы по величине, что может привести к дополнительной дискриминации российских ученых, публикующихся только в отечественных изданиях. Эту проблему, вероятно, можно было бы устранить путем введения поправочных коэффициентов.
Заключение
Разработанная в данной статье методика не свободна от недостатков. В частности, может вызвать неприятие отказ от учета всех видов научной деятельности, кроме публикаций в журналах с импакт-фактором. Однако, на взгляд автора, эта методика прозрачна и задает четкие целевые ориентиры для российских ученых, тогда как другие виды научной деятельности могут оплачиваться за счет единовременных выплат из специально для этого предусмотренных фондов.
Литература
1. Кара-Мурза С. Г. Цитирование в науке и подходы к оценке научного вклада // Вестник АН СССР. - 1981. - № 5. - С. 68-75.
2. Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук (редакция апрель 2008 года) [Электронный ресурс]. - Режим доступа: http://vak.ed.gov.rn/common/img/uploaded/files/vak/enumeration/2010/per-26-03-2010.doc (проверено 31.03.2010).
3. Методика расчета индивидуального ПРНД в ИФЗ им. О. Ю. Шмидта РАН[Электронный ресурс]. - Режим доступа: http://www.ifz.ru/doc/2009/prnd_2009/PRND_methodics_2009.pdf (проверено 06.01.2010).
4. Garfield E. Journal impact factor: a brief review // Canadian Mediacal Association Journal. - 1999. - № 8 (161). - С. 979-980.
5. Schubert A., Braun T. Relative indicators and relational charts for comparative assessment of publication output and citation impact // Scientometrics. - 1986. - № 9. - С. 281-291.
Котляров Иван Дмитриевич - Северо-Западный институт печати Санкт-Петербургского государственного университета технологии и дизайна, кандидат экономических наук, доцент, ivan.kotliarov@mail.ru
УДК 004.942
КЛАССИФИКАЦИЯ ТИПОВ НАУЧНЫХ СОРЕВНОВАНИЙ С АВТОМАТИЧЕСКОЙ ОБРАБОТКОЙ РЕШЕНИЙ
С.Е. Рукшин
Представлен анализ существующих научных соревнований школьников. На основе проведенного анализа построена классификация, которая разработана как основа конструирования систем проведения дистанционных научных соревнований с автоматической обработкой решений.
Ключевые слова: дистанционных научные соревнования, классификация типов математических задач, автоматическая обработка решений.
Введение
Одной из тенденций развития системы образования в современных условиях является увеличение роли электронного (и, в частности, дистанционного) обучения в предметном образовании. Использование компьютерных технологий позволяет автоматизировать часть организационных процессов, присущих образовательной деятельности, избавить преподавателей от части рутинной работы, направив освободившийся ресурс времени на поддержку продуктивных процессов в обучении [1, 2]. Компьютерные технологии становятся важным ресурсом в стимулировании интереса к точным, естественным наукам и информатике при условии сохранения и переноса в современные условия лучших отечественных традиций, обеспечивавших выявление научно одаренных учащихся и студентов и высокое качество их обучения. Для этого необходимо, в частности, наиболее полное использование ресурса задач, накопленных за прошедшие годы в учебной, олимпиадной и кружковой деятельности (рассматривая кружок как этап подготовки к олимпиадам).
В последние годы ведущие вузы страны проводят предметные Интернет-олимпиады, постепенно вытесняющие традиционные [3]. Эта тенденция заметно усилилась после введения обязательного единого государственного экзамена (ЕГЭ), который, по сути, является одним из типов дистанционных научных соревнований с частично автоматизированной проверкой решений [4]. Основными достоинствами дистанционных олимпиад являются: массовый охват учащихся; психологический комфорт участников олимпиады, находящихся в привычной для себя обстановке; равноправие
