CC BY
56УДК 001.38:001.89:338.2
экономический анализ эффективности ранжирования научных работников по наукометрическим критериям
economic analysis of efficiency of scientist's ranging on scientometric criteria
Владислав Валерьевич КЛОЧКОВ,
доктор экономических наук, ведущий научный
сотрудник лаборатории экономической динамики и управления инновациями, Институт проблем управления им. В. А. Трапезникова Российской академии наук E-mail: vlad_klochkov@mail.ru Софья Михайловна КРУПИНА, магистрант факультета инноваций и высоких технологий, Московский физико-технический институт (национальный исследовательский университет) E-mail: sonyakrupina@gmail.com
Исследована целесообразность ранжирования научных работников при финансировании фундаментальных НИР. Проанализирована эффективность выделения среди ученых «элиты», обладающей более высокой научной продуктивностью, и концентрации на ней финансовых ресурсов. Учтена неидеальность формальных критериев ранжирования ученых, предложен метод формирования требований к качеству такого ранжирования.
Ключевые слова: наука, финансирование, эффективность, наукометрия, точность.
Введение
В настоящее время активно обсуждаются пути реформирования отечественной науки. В частности, большое внимание уделяется усилению конкурсных, конкурентных начал в финансировании исследований. Одной из главных претензий к российской (а ранее - советской) науке является уравнительный подход к финансированию отдельных ученых и научных коллективов. Практически все предложения по
Vladislav V. KLOCHKOV,
Doctor of Economics Sciences, Leading
Researcher of the Laboratory of Economic Dynamics and Innovations Management, The Institute of Control Sciences named after V. A. Trapeznikov of the Russian Academy of Sciences E-mail: vlad_klochkov@mail.ru Sofia M. KRUPINA, Student of the Faculty of Innovations and High Technologies, The Moscow Physics and Technology Institute (the National Research University) E-mail: sonyakrupina@gmail.com
The expediency of research fellows' ranking when financing fundamental research is investigated. The efficiency of more productive elite selection among the scientists and concentrating all the financial resources on it is analyzed. The imperfection of formal scientists' ranking criteria is taken into account and the method of forming the requirements to the quality of such a ranking is presented.
Keywords: science, financing, efficiency, sciento-metrics, accuracy.
реформированию управления российской наукой и ее ресурсному обеспечению предусматривают усиление ранжирования ученых и научных коллективов по тем или иным критериям и перераспределение в пользу лидеров материальных и других дефицитных ресурсов. При этом в отношении остальных научных работников и учреждений предлагаются различные решения -от поддержания их обеспеченности на некотором базовом минимальном уровне до радикального сокращения как неэффективного балласта. Разумеет-
ся, любые из указанных предложений затрагивают интересы значительной части ученого сообщества, становясь предметом ожесточенных дискуссий. В то же время необходимо, по возможности, объективно оценить эффективность углубления дифференциации ученых, причем с точки зрения государства и общества, которые финансируют фундаментальную науку, рассчитывая на решение научных проблем и генерацию новых знаний.
При этом следует учитывать прежде всего исключительно высокорисковый характер научно-исследовательских работ, в особенности фундаментальных, отсутствие детерминированной связи между затраченными ресурсами, длительностью и результатом НИР. Поэтому, как было обосновано (в том числе и при участии одного из авторов [1]), целесообразен «портфельный» подход к планированию НИР и их обеспечению: по возможности, следует вести поиск параллельно силами нескольких ученых или научных групп в надежде на то, что хотя бы один из них достигнет успеха. Однако, возможно, более высокая продуктивность научной элиты избавляет от необходимости распылять ресурсы между множеством неэффективных ученых? Следует учитывать, что сами по себе критерии ранжирования ученых, разумеется, неидеальны и могут давать значительные погрешности при оценке реальной продуктивности данного ученого или научного коллектива, а тем более - ценности научных результатов (подробнее см. работы [2, 3]). Целесообразно ли выделять элиту, усиленно обеспечивая ее дефицитными ресурсами (или даже сокращая неэффективных ученых и научные коллективы), если надежность такого ранжирования невелика? В свете развития наукометрических методов актуальна обратная задача: требуется найти, при какой минимальной надежности критериев ранжирования ученых их дифференциация позволит значимо повысить эффективность и результативность науки.
В простейшей, примитивной постановке можно принять в качестве критерия эффективности науки средний уровень удельных затрат в расчете на один результат (на одно открытие). Целесообразно оценить, как изменятся ожидаемые затраты на один научный результат, если вместо общей массы ученых или научных учреждений финансировать лишь выделенных по тем или иным критериям лидеров. В то же время, поскольку стремление улучшить удельные показатели зачастую вступает в противоречие с поддержанием приемлемого уровня абсолютных показателей, в процессе моделирования необходимо
отслеживать и значения суммарных затрат на науку и суммарной ее продуктивности (потока открытий).
Авторы отдают себе отчет в крайней механистичности такого подхода к измерению результативности и эффективности науки, в несопоставимости многих научных результатов и даже неформализуемости их реального значения для науки и практики. Однако господствующая в органах государственного управления и в определенной части профессионального сообщества точка зрения на науку, ее результативность и эффективность столь же механистична. То же самое можно сказать и о любых формальных наукометрических показателях. Поэтому в рамках критической проверки обоснованности этой точки зрения вполне уместно рассуждать на соответствующем языке. И, если даже в рамках обсуждаемой здесь системы представлений об эффективности науки и путях ее реформирования выяснится, что она содержит внутренние проблемы и противоречия, это даст основания усомниться в ее безусловной истинности. На данный момент формальных оснований для таких сомнений (тем более на уровне экономико-математических моделей) противники проводимых в российской науке реформ не представили, насколько известно авторам. Это дает основания проводникам соответствующих реформ упрекать своих критиков в отсутствии возражений по существу (хотя и с их стороны формального обоснования эффективности реформ не приводится). Обращает на себя внимание несоответствие между высоким научным уровнем (в своих областях знания) участников дискуссии о путях развития российской науки и преобладанием в ней эмоциональных или схоластических аргументов (в том числе ссылок на субъективно воспринятый мировой опыт, тенденциозного толкования статистики и т. п.). Авторы полагают, что необходимо придать этой дискуссии научный характер.
Упрощенная модель ранжирования
ученых по формальным критериям
Ранжирование ученых на основе наукометрических показателей с формальной точки зрения можно рассматривать как задачу статистической классификации, поскольку ранжировать ученых предстоит на основе случайных, подверженных искажениям измерений их публикационной активности, цитируемости и т. п. В простейшей постановке рассмотрим разделение ученых всего на два класса - высокопродуктивных и низкопродуктивных (лидеров и посредствен-
ных ученых), причем критерий - абсолютный. То есть ученые, преодолевшие некоторый порог формальных показателей, считаются высокопродуктивными, и наоборот. Заметим, что в этом случае доля высокопродуктивных ученых может быть любой - от 0 до 100 %. Такая задача классификации принципиально отличается от задачи выделения фиксированной доли лучших. В теории педагогических измерений эти задачи называются тестом способностей и тестом достижений (примеры - выпускные экзамены в школе и вступительные экзамены в вуз). В то же время далее будут показаны и возможные последствия постановки задачи выделения фиксированного числа лучших ученых.
Критерии классификации ученых, разумеется, не обладают 100 %-ной надежностью. Задача этих критериев не только в том, чтобы подтвердить, что ученый действительно является высокопродуктивным, но и в том, чтобы не классифицировать посредственного ученого как лидера. Причем часто критерии, которые являются достаточно достоверными при выделении сильных претендентов, могут значительно ошибаться при отсеивании слабых, и наоборот: ведь фактически при прочих равных жесткий или мягкий критерий получается путем простого изменения пороговых уровней формальных показателей.
Качество формальных показателей формализуем следующим образом. Вероятность, с которой истинный лидер по формальным показателям проявляет себя как лидер, обозначим p, а вероятность, с которой посредственный ученый показывает себя как лидер, обозначим д. Тогда вероятности, с которыми формальный критерий отнесет лидера и посредственного ученого к классу посредственных, равны соответственно 1 - p и 1 - д1.
Рассмотрим работающую в некоторой области науки совокупность N ученых, п из которых фактически являются лидерами. Обозначим их долю а = П. Пусть по результатам ранжирования
оказалось, что в научном сообществе т лидеров. Обозначим ^ = 1,2,...тт{п,m} истинное число лидеров среди выделенных по формальным признакам т ученых. Найдем распределение этой случайной величины.
Сначала вычислим вероятность того, что один
1 Здесь можно использовать применительно к ошибкам классификации ученых традиционную для проверки статистических гипотез терминологию - ошибки первого и второго рода.
ученый, который по формальным признакам был отнесен к классу лидеров, действительно им является. Для этого воспользуемся формулой Байеса
P(A | B)P(B)
P(B|A) = -
P( А)
В качестве события В возьмем событие (данный ученый является лидером), в качестве А - по формальным признакам данный ученый - лидер.
Тогда Р(В | А) - искомая вероятность (того, что выделенный ученый - действительно лидер); Р(А | В) - вероятность того, что по формальным признакам данный ученый - лидер при условии, что тот действительно является лидером, т. е. р; а Р(А) - вероятность того, что формальный критерий в принципе отнес ученого к лидерам, хотя это может быть и ошибкой.
В свою очередь по формуле полной вероятности
Р(А) = Р(А | В)Р(В) + Р(А | С)Р(С), где Р(В) - априорная вероятность появления в выборке лидера, т. е. просто доля лидеров в
научном сообществе а = —;
N
Р(А | С) - вероятность того, что по формальным признакам данный ученый - лидер, при условии, что на самом деле он посредственный, т. е. д;
Р(С) - априорная вероятность появления в
N — п
выборке слабого ученого, т. е. 1 - а =
N '
С - событие (ученый является посредственным).
В итоге получаем апостериорную вероятность того, что ученый действительно является лидером, если он оказался в группе лидеров, выделенной по формальным признакам
п
р-
Р^ = Р(В | А) =
N
ра
+ Р а + 4(1 -а)'
N N
Интересно рассмотреть, какие значения она принимает при разных р, д и а. В таблице рассмотрены три варианта формальных критериев классификации ученых.
Характеристики формальных критериев ранжирования ученых (пример)
Вариант Критерий
№ 1 № 2 № 3
Р 0,8 0,6 0,9
д 0,4 0,2 0,1
Рапост
Истинная доля продуктивных ученых в научном сообществе
—*—р = 0,8; q = 0,4 -■— р = 0,6; q = 0,2 -а— р = 0,9; q = 0,1
Рис. 1. Зависимость фактической доли высокопродуктивных ученых среди выделенных по формальным критериям (пример), %
Первый - мягкий критерий (р = 0,8, q = 0,4) -достаточно хорошо выделяет сильных ученых, но не очень хорошо отсеивает слабых. Второй - жесткий критерий (р = 0,6, q = 0,2) - наоборот, достаточно часто ошибается при выделении сильных ученых, но лучше отсеивает слабых. Третий критерий (р = 0,9, q = 0,1) гораздо более точен и надежен, чем первые два, в обоих отношениях вероятности ошибок первого и второго рода одинаковы и составляют лишь 10 %. Тем не менее даже столь совершенный формальный критерий еще не гарантирует высокого качества отбора ученых. Например, если принять, что примерно один из пяти ученых является высокопродуктивным, то в среднем лишь около 70 % ученых из группы, выбранной по критерию № 3, будут лидерами в действительности (р11пост « 0,69).
В реальности истинная доля высокопродуктивных ученых неизвестна, и относительно нее можно лишь строить некоторые предположения, высказывать экспертные мнения. Поэтому целесообразно проводить параметрические расчеты при изменении этой доли от 0 до 100 %. Лицо, принимающее решения (ЛПР), сможет самостоятельно оценить их последствия, основываясь на собственных представлениях о доле высокопродуктивных ученых в научном сообществе, т. е. о его структуре. Графики
1 2 зависимости рапост, т. е. доли2 истинных лидеров
среди ученых, выбранных по формальным критериям № 1-3 (см. таблицу), от фактической доли высокопродуктивных ученых в научном сообществе а изображены на рис. 1.
Если бы критерии ранжирования вообще не обладали никакой информативностью, т. е. ранжирование не отличалось бы от случайного отбора, тогда концентрация истинно высокопродуктивных ученых в группе выделенных не отличалась бы от их доли в научном сообществе, т. е. а. График представлял бы собой биссектрису координатного угла. Грубым критериям № 1 и 2 соответствуют графики, слабо отличающиеся от таковой (рис. 1). Более точный критерий № 3 повышает концентрацию истинных лидеров более значимо. Причем
эффективность этих фильтров, которую можно
р1
измерить как Гапост , особенно высока при малых а
а, когда высокопроизводительные ученые редки, а подавляющее большинство обладает низкой продуктивностью.
2 Поскольку на практике речь идет, как правило, о многочисленных научных коллективах, в силу закона больших чисел частота стремится к вероятности.
в среднем 48 чел. в класс лидеров. Фактических лидеров из этих 48 (опять же в среднем) только 16, так как р = 0,33.
г апост 7 —
Рассмотрим графики зависимости — (рис. 2),
N
т. е. ожидаемой доли ученых, прошедших отбор по формальным критериям № 1-3 (см. таблицу), от фактической доли высокопродуктивных ученых в научном сообществе а. Как и следовало ожидать, более жесткий критерий № 2 выделяет меньше ученых в качестве лидеров, чем более мягкий критерий № 1, во всем диапазоне истинных долей лидеров а. Интерес представляет зависимость для более точного критерия № 3: при малых долях истинно высокопродуктивных ученых он выделяет меньшее число предполагаемых лидеров, чем оба грубых критерия № 1 и 2, а при больших - напротив, большее. В силу более высокой точности такой критерий выделяет число предполагаемых лидеров, близкое к их истинному количеству (что, впрочем, не гарантирует, что выделены все истинные лидеры, и только они).
Если финансировать лишь часть выделенных по формальным критериям ученых, считая, что эта часть выбирается по честному жребию, то средняя доля истинных лидеров среди них по-прежнему
Истинная доля продуктивных ученых в научном сообществе —♦— р = 0,8; q = 0,4 -■— р = 0,6; q = 0,2 —А—р = 0,9; q = 0,1
Рис. 2. Зависимость ожидаемой доли ученых, выделенных по формальным критериям в качестве высокопродуктивных (пример), %
Для вычисления вероятности того, что ровно k ученых из т выделенных действительно являются лидерами, воспользуемся схемой из т испытаний Бернулли, где в качестве вероятности успеха возьмем р1пост. Тогда искомое распределение имеет вид
Р£ = k) = ст (¿ост)* (1 - РлостГ-' .
Математическое ожидание случайной величины т. е. числа истинно высокопродуктивных ученых среди выделенных по формальным критериям, равно гар^ст.
Также целесообразно найти математическое ожидание самого т (числа выделенных по формальным критериям лидеров)
т = NP(А) = рп + q(N - п) =
= pN а + qN (1 -а) = Щ р а + q(1 -а)].
Из последней формулы следует, что чем мягче формальный критерий, чем чаще он относит посредственного ученого к классу лидеров (т. е. чем выше д) и чем меньше а, тем больше будет т, соответственно, тем сильнее оно будет превышать реальное число лидеров п. Например, если доля высокопродуктивных ученых в действительности составляет примерно 20 %, то мягкий формальный критерий № 1 (см. таблицу) выделит из 100 ученых
будет равнар1ШоС1. И если т в несколько раз больше п, то при финансировании небольшого количества -например, только п ученых (если ЛПР предполагает, что истинное количество лидеров в научном сообществе ему известно, и предполагает финансировать именно такое число ученых) - велик риск захватить лишь малую долю истинных лидеров, а большая часть высокопродуктивных ученых останется за бортом, причем даже при относительно мягких критериях. В рассмотренном примере (критерий № 1, а = 20 %, N = 100), отобрав 20 ученых, выделенных по формальным признакам, в среднем получим 6-7 реальных лидеров. Таким образом, в среднем 13-14 из 20 (т. е. две трети) высоко продуктивных ученых не пройдут отбора по формальным критериям. Насколько сильно это отразится на их будущем и на будущем всей науки, зависит от конкретной стратегии реформирования, от того, насколько жестко финансирование исследований будет привязано к формальным наукометрическим показателям.
Модель влияния ранжирования ученых на совокупную результативность науки и среднюю производительность ученых
Далее можно оценить влияние ранжирования ученых на результативность работы научной сферы при различных стратегиях ее финансирования. Обозначим илид среднюю производительность высокопродуктивного ученого (измеряемую в условных открытиях в год или публикациях в год и др.), ипос - среднюю производительность посредствен-
ного ученого. Пусть
= х, т. е. продуктивность
лидера в х раз больше продуктивности посредственного ученого. Тогда суммарная ожидаемая продуктивность выделенной по формальным признакам группы ученых составит
ит = т [Р^постМлид + (1 - Рапост ) Мпоср ] = = типоср [Рапостх + (1 - Р^остЕ
а средняя по выделенной группе ученых, т. е. в расчете на одного ученого
— и т г 1 /1 1 М
ит = = Мпоср [РапостХ + (1 - Рапост)],
т
что, очевидно, выше средней производительности посредственного ученого, однако ниже средней производительности лидера при любых Р11пост е (0,1).
Заметим, что изначально в данном научном сообществе, содержавшем долю а высокопродуктивных ученых, средняя производительность в расчете на одного ученого составляла
UN = N = ипоср [а Х + (1 -а)].
Таким образом, в результате отбора ученых по формальным критериям средняя производительность в расчете на одного человека возрастает в
ит = Рап°стх +(1 - Рапост) раз. с одной стороны, она
и
N
а х + (1 - а)
определенно возрастает, так как Рапост > а, но, с другой, - заведомо меньше, чем в х раз, поскольку даже числитель последней дроби заведомо ниже х при любых Р1,пост е (0,1), а знаменатель больше 1.
Рассмотрим графики зависимости ит
UN
(рис. 3-5), т. е. относительного изменения средней продуктивности ученых в результате отбора по формальным критериям № 1-3 (см. таблицу), от фактической доли высокопродуктивных ученых в научном сообществе а. При этом считается, что средняя производительность лидера в 1,5; 3 и в 10 раз выше, чем производительность посредственного ученого.
Вид полученных графиков интересен тем, что они имеют максимум при некоторых значениях фактической доли высокопродуктивных ученых в научном сообществе а. Таким образом, вне зависимости от этой доли (в реальности ненаблюдаемой) можно оценить сверху максимально достижимую эффективность ранжирования ученых. При полутора-и трехкратном превосходстве лидеров над посредственными учеными (рис. 3 и 4) максимальный прирост средней эффективности научной работы после отбора ученых по формальным показателям составит лишь 7-10 % и 20-37 % соответственно. И даже относительно точный критерий № 3 при полутора- и трехкратном превосходстве лидеров обеспечит прирост средней производительности труда максимум на 23-73 %. Несколько выше эффективность ранжирования ученых, если преимущество лидеров над посредственными коллегами будет десятикратным (рис. 5). Однако даже тогда прирост средней производительности ученых составит для грубых критериев максимум 40-80 %, а для наиболее точного критерия будет менее чем трехкратным (тогда как выделяемые по этому критерию лидеры превосходят своих коллег в производительности в 10 раз).
и
Истинная доля продуктивных ученых в научном сообществе, % —*—р = 0,8; q = 0,4 -■— р = 0,6; q = 0,2 -*—р = 0,9; q = 0,1
Рис. 3. Зависимость изменения средней производительности ученых вследствие их отбора по формальным критериям (пример 1, х = 1,5)
1,8
1,6
1,4
1,2
0,8
0,6
0,4
0,2
10 20 30 40 50 60 70 80
Истинная доля продуктивных ученых в научном сообществе, % —♦— р = 0,8; д = 0,4 -■— р = 0,6; д = 0,2 -а— р = 0,9; ц = 0,1
90
100
Рис. 4. Зависимость изменения средней производительности ученых вследствие их отбора по формальным критериям (пример 2, х = 3)
0
3,5
>
ч: о
ч: ш
2,5
& 1,5
0,5
10 20 30 40 50 60 70 80 90
Истинная доля продуктивных ученых в научном сообществе, % —•—р = 0,8; д = 0,4 -■— р = 0,6; д = 0,2 р = 0,9; д = 0,1
Рис. 5. Зависимость изменения средней производительности ученых вследствие их отбора по формальным критериям (пример 3, х = 10)
100
сообщества, т. е. и^-, от фактической доли высо-
Графики зависимости отношения суммарной производительности всех ученых, отобранных по ' и
формальным критериям № 1-3 (см. таблицу) к на- копродуктивных ученых в научном сообществе а,
чальной суммарной производительности научного представлены на рис. 6-8. При этом считается, что
100
т 90
80
70
га
60
50
40
30 40 50 60 70 80
Истинная доля продуктивных ученых в научном сообществе —*—р = 0,8; д = 0,4 -■— р = 0,6; д = 0,2 р = 0,9; д = 0,1
Рис. 6. Зависимость изменения суммарной результативности науки вследствие отбора ученых по формальным критериям (пример 1, х = 1,5), %
100
3
2
1
0
ч: о
сх го
100 90 80 70 60 50 40 30 20 10
100
90
80
ч: о
с
70
60
50
40
30
20
10
10 20 30 40 50 60 70 80 90
Истинная доля продуктивных ученых в научном сообществе —♦—р = 0,8; q = 0,4 -■— p = 0,6; q = 0,2 p = 0,9; q = 0,1
Рис. 7. Зависимость изменения суммарной результативности науки вследствие отбора ученых по формальным критериям (пример 2, х = 3), %
100
10 20 30 40 50 60 70 80 90
Истинная доля продуктивных ученых в научном сообществе —•—p = 0,8; д = 0,4 -■— p = 0,6; д = 0,2 p = 0,9; д = 0,1
Рис. 8. Зависимость изменения суммарной результативности науки вследствие отбора ученых по формальным критериям (пример 3, х = 10), %
100
средняя производительность лидера в 1,5; 3 и в 10 раз выше, чем производительность посредственного ученого.
формальным критериям (рис. 6-8) может быть выражено следующей формулой:
и-„
Относительное изменение суммарной резуль- —
и N
тативности науки вследствие отбора ученых по
[Р1постх + (1 - Р^ст)][Р а + Ч (1 - а)] а х + (1 -а)
йN N
0
0
С одной стороны, в результате фильтрации по формальным показателям средняя производительность ученых возрастет, с другой стороны, их численность сократится. Суммарная результативность науки определенно снизится даже при безошибочном ранжировании исследователей, хотя бы по той причине, что отсеиваются пусть и низкопродуктивные, но также дающие результаты ученые. И, если доля высокопродуктивных ученых а существенно меньше 1, потеря абсолютной производительности науки будет значительной, даже при многократном превосходстве лидеров над посредственными учеными, т. е. при х >> 1. Поэтому, как это ни парадоксально на первый взгляд, при малой доле высокопродуктивных ученых суммарная результативность науки при использовании наиболее точных критериев ранжирования (вариант № 3) окажется даже ниже, чем при использовании более грубых критериев отбора ученых. Кроме того, более жесткие критерии приводят к большему сокращению абсолютной производительности науки при любых а, поскольку приводят к отсеву большего числа ученых. В то же время это компенсируется опережающим снижением численности ученых -получателей ресурсов, что и приводит к росту удельной производительности в расчете на одного ученого (см. рис. 3-5).
Анализ влияния стратегии финансирования науки на ее совокупную результативность и среднюю производительность ученых
Следует уделить особое внимание стратегии финансирования науки и той роли, которую будут играть формальные наукометрические показатели при распределении ресурсов. Обозначим I число ученых, которым будет предоставлена финансовая поддержка и другое ресурсное обеспечение. Эта величина может определяться по самым разнообразным правилам, но в данной работе их можно классифицировать следующим образом.
Во-первых, I может быть «плавающим», привязанным к числу ученых, отнесенных к высокопродуктивным по формальным критериям, причем как равным ему (I = т), так и меньше или больше него (например, в фиксированное число раз). Если I < т и получатели финансирования отбираются по честному жребию, доля истинно высокопродуктивных ученых среди них остается постоянной и равной
р1пост • Таким образом, их средняя продуктивность
— и т г 1 /1 1 \т
составит u =-= u [п x + (1 - п )] и
т поср 1--Г апост V -Гапост-М
т
также не будет зависеть от I, а суммарная продуктивность научного сообщества в целом (после фильтрации по формальным показателям) будет определяться следующим произведением:
и> = ит1.
Если предполагается поддерживать долю Р < 1 от всех ученых, отнесенных к лидерам по формальным критериям, тогда
и1 = йт р т •
Однако I, как и т - случайные величины. Поскольку доля реальных лидеров среди ученых, отобранных по наукометрическим критериям, не зависит от т и равна Р1шост, также не зависит от т и средняя производительность ученых, успешно прошедших отбор, йт • Тогда можно считать, что ожидаемая производительность I = Р т получателей ресурсов равна произведению йт и р т
и Р = йт Р т = = Р «поср [п-ост х +(1 - п!ст)] ы [Р а + д(1 - а)]. Особый интерес представляет собой ее сопоставление с ожидаемой производительностью ученого сообщества до его ранжирования и сокращения. Она составляла иы = ипосрN [а х + (1 - а)]. Таким образом, относительное изменение совокупной результативности науки может быть выражено следующей формулой:
= Р «поср [Р 1ст х + (1 - Р^пост )] Ы [Р а + д (1 - а)]
и N
=Р
«поср Ы[а х + (1 -а)] [Р^пост х + (1 - Р^пост )] [Р а + д (1 - а)]
а х + (1 -а)
Поведение дроби в правой части этого выражения будет исследовано далее. В любом случае при рассматриваемом здесь принципе распределения ресурсов снижение доли получателей ресурсов среди лидеров, выделенных по формальным критериям, т. е. Р, вызовет лишь пропорциональное снижение абсолютной результативности научной сферы, потока открытий.
Если вспомнить, что некоторые высокопродуктивные ученые по формальным критериям могли быть ошибочно отнесены к классу посредственных, возникает следующая гипотеза. Возможно, во избежание излишних потерь производительности научного сообщества целесообразно финансировать
дополнительно какое-то число отсеянных ученых? Апостериорную вероятность того, что ученый является лидером, если он по формальным критериям был отнесен к классу посредственных, можно вычислить аналогично р!ост
аЛос!
(1 - Р)
N
/1 ч n ,Л 4N - n
(1 - p)— + (1 - q)-
NN
(1 - p) а
(1 - р) а + (1 - д)(1 -а)
То есть это доля истинных лидеров в числе отсеянных по формальным критериям. Если р > д (что является естественным требованием к критериям ранжирования, в противном случае критерий неинформативен, поскольку посредственный ученый имеет не меньшие шансы ему соответствовать, чем высокопродуктивный), тогда Р^ > Р^ост •
Пусть дополнительно выделяются ресурсы на Ът ученых, отнесенных к посредственным (помимо т лидеров, выделенных по формальным критериям). Суммарная продуктивность такой группы ученых равна
и т+Ът = и т т + и Ъш Ът = ^р [Р^ст Х + (1 - Р^пост )] т + +ипоср [Р1ст * + (1 - Р1ст)]Ът.
В расчете на одного ученого ожидаемая средняя производительность составит
"поср { [Р1ст Х + (1 - Р1ст )] m +
+[ plx x+(1 - pu]5m}
т+Ът о
т + Ът
Эта функция достигает максимума при Ът = 0, если п2 < Р1 . Таким образом, финансирова-
г апост г апост £ ' т г
ние ученых сверх того количества, которое было отобрано по формальным критериям (если только они информативны), снижает удельную производительность труда, хотя и повышает суммарную производительность.
Во-вторых, I может быть фиксированным, не зависящим от количества ученых, отнесенных к высокопродуктивным по формальным критериям. Фактически это и есть принцип отбора фиксированной доли или фиксированного количества лучших. В используемой здесь упрощенной модели ранжирования ученых его нельзя сформулировать непосредственно, поскольку рассматривается лишь деление на два дискретных класса - лидеры и посредственные, однако, например, можно указать, что
ученые, отнесенные к высокопродуктивным, будут приоритетными получателями ресурсов. Поскольку теперь l = Const, количество ученых, отобранных по формальным критериям, т. е. m , может быть как выше этого порога, так и ниже. Если m > l, средняя доля истинных лидеров среди получателей ресурсов по-прежнему останется равной Р^ост, что позволяет однозначно определить среднюю производительность l ученых, на которых выделяются ресурсы. Если же m < l, то или иное количество ученых, получающих поддержку, будет обладать в среднем меньшей продуктивностью, чем группа отобранных по формальным критериям, что приведет к снижению удельных показателей эффективности науки. Для оценки ожидаемых значений удельной производительности (в расчете на одного ученого) или совокупной производительности l ученых, получающих финансирование, уже необходимо будет знать закон распределения случайной величины m. Однако в любом случае можно однозначно утверждать, что при фиксированном числе получателей ресурсов l = Const средняя производительность в расчете на одного ученого будет ниже, чем при «плавающем» l < m: й1=Const < um.
В дальнейшем будем предполагать, что финансирование получают все ученые, отобранные по формальным критериям, т. е. Р = 1, l = m, поскольку при прочих принципах выделения ресурсов либо средняя производительность их получателей снижается, либо сокращается совокупная результативность науки.
Анализ влияния ранжирования ученых по формальным показателям на эффективность научной сферы и объемы ее финансирования
Прежде всего необходимо оговорить, во сколько раз предполагается увеличить ставки оплаты тех ученых, которым будут выделены ресурсы по итогам ранжирования. Если отобранным по формальным критериям ученым предполагается увеличить ставки финансирования в у раз относительно изначального уровня z ден. ед. /чел. в год, тогда ожидаемые совокупные расходы на науку, ранее составлявшие ZN = zN ден. ед. в год, достигнут уровня Zm = yxm.
Графики зависимости отношения суммарных затрат на финансирование всех ученых, отобранных по формальным критериям № 1-3 (см. таблицу), к
n
2
исходному уровню затрат на финансирование науки,
2
т. е. —т, от фактической доли высокопродуктивных
ученых в научном сообществе а, представлены на рис. 9-11. При этом, как и ранее, считается, что средняя производительность лидера в 1,5; 3 и в 10 раз выше, чем производительность посредственного ученого. Для каждого варианта формальных критериев приведены верхняя (пунктирные линии) и нижняя (сплошные линии) границы допустимых затрат.
Нижняя граница получена в предположении, что ставка финансирования не увеличивается (у = 1)
2 — 1 z т т
и выражается формулой —т =-= —, т. е. чис-
2М zN N
ленно совпадает с изменением численности ученых, изображенным на рис. 2. Нижняя граница относительного изменения суммарных затрат не зависит от соотношения производительности лидеров и посредственных ученых х, поэтому одинакова на рис. 9-11.
Верхняя граница построена таким образом, чтобы удельные затраты на один научный результат не
возросли по сравнению с исходным уровнем у = ,
_ UN
2- ит zm ит т и выражается формулой — = —--= —--, т. е.
ZN UN zN UN N
численно совпадает с изменением суммарной производительности научного сообщества и- (см. рис. 6-8). UN
Возможные (т. е. выгодные как для государства, так и для самих ученых, по крайней мере прошедших формальный отбор) относительные изменения суммарных затрат на науку лежат в диапазоне между верхней и нижней границами. Конкретные значения зависят от конъюнктуры рынков высококвалифицированного научного труда и других факторов, но получаемые таким образом диапазоны уже позволяют приблизительно оценить возможную экономию средств на финансирование науки, достижимую благодаря ранжированию ученых по формальным наукометрическим показателям. Более жесткие критерии обеспечивают меньший уровень затрат, но и меньший уровень результативности науки, потока результатов по сравнению с более
100
90
80
70
60
50
40
30
20
10
"ТА'" .-В" ■
. -в -"
Л'' .-В'" . -в- " . 'В* " . -В' " .-■Ч' ___-
■
Л-
• —О* .Ь!
10
20
30 40 50 60 70 80
Истинная доля продуктивных ученых в научном сообществе Верхние границы допустимых затрат: --р = 0,8; q = 0,4 ---в--- р = 0,6; q = 0,2 ---а---р = Нижние границы допустимых затрат: —♦— р = 0,8; q = 0,4 —■— р = 0,6; q = 0,2 —л— р =
90
0,9; q = 0,1 0,9; q = 0,1
100
Рис. 9. Зависимость изменения суммарных затрат на финансирование науки вследствие отбора ученых
по формальным критериям (пример 1, х = 1,5), %
и
0
100
90
80
70
60
50
40
30 40 50 60 70 80
Истинная доля продуктивных ученых в научном сообществе Верхние границы допустимых затрат: ---о---р = 0,8; q = 0,4 ---в---р = 0,6; q = 0,2 ---д---р = 0,9; q = Нижние границы допустимых затрат: —*— р = 0,8; q = 0,4 —■— р = 0,6; q = 0,2 —д— р = 0,9; q =
100
0,1 0,1
Рис. 10. Зависимость изменения суммарных затрат на финансирование науки вследствие отбора ученых
по формальным критериям (пример 2, х = 3), %
100-
90
80
70
60
50
40
30
20
10
10 20 30 40 50 60 70 80 90 100
Истинная доля продуктивных ученых в научном сообществе Верхние границы допустимых затрат: ---о---р = 0,8; q = 0,4 ---в--■ р = 0,6; q = 0,2 ---д---р = 0,9; q = 0,1 Нижние границы допустимых затрат: —«— р = 0,8; q = 0,4 —■— р = 0,6; q = 0,2 —*— р = 0,9; q = 0,1
Рис. 11. Зависимость изменения суммарных затрат на финансирование науки вследствие отбора ученых
по формальным критериям (пример 3, х = 10), %о
0
толерантными критериями (см. рис. 3-8). Что касается более точных критериев, при малой доле высокопродуктивных ученых они обеспечат значительную экономию средств, однако и суммарная производительность науки существенно снизится в силу отсева подавляющего большинства ученых, которые обладают низкой продуктивностью.
Если под эффективностью подразумевается соотношение «входа», т. е., например, объема финансирования, и «выхода», т. е. суммарной производительности научного сообщества, тогда эффективность науки может быть измерена в денежных единицах за один результат. Изначально
она составляла = , а после выделения
иы иы
высокопродуктивных ученых по формальным
2т у2т 2 критериям достигнет уровня -=Р- = _ _ = у—.
и и т и
т т т
Таким образом, относительное изменение эффективности науки вследствие ранжирования ученых можно определить как соотношение этих величин,
равное у . С одной стороны, средняя производи-
и
т
тельность ученых, прошедших отбор, как правило, выше, чем изначально была в научном сообществе. С другой стороны, прошедшие отбор ученые потребуют и более высоких ставок финансирования,
( Т7 \
причем их изменение лежит в пределах у е
и
у т
"Ы J
Следовательно, удельные затраты на один научный результат сократятся максимум в раз (см.
иЫ
рис. 3-5), если ставки финансирования не повышать, а в другом крайнем случае - не изменятся, если весь выигрыш в производительности труда перераспределяется в пользу ученых. Таким образом, в рамках предложенных моделей относительный прирост средней производительности ученых после их формального отбора и является верхней
иЫ
оценкой эффективности ранжирования по формальным наукометрическим критериям. В свою очередь этот относительный прирост достигает максимума при определенных долях высокопродуктивных ученых в научном сообществе (см. рис. 3-5).
По существу, оптимизация научной сферы и стратегии ее финансирования в рамках рассматриваемой модели сводятся к выбору между сокращением
затрат и снижением совокупной результативности3. Разумеется, относительное сокращение совокупных затрат выше, чем относительное сокращение суммарной результативности науки, т. е. использование формальных критериев ранжирования ученых и отбор получателей ресурсов повышают эффективность научной сферы (измеряемую в денежных единицах в расчете на один научный результат). Однако при реалистичных параметрах формальных наукометрических критериев (варианты 1 и 2) прирост эффективности невелик и составляет от нескольких до десятков процентов, несмотря на многократное превосходство лидеров над посредственными учеными в средней производительности труда (см. рис. 3-5). Причем максимумы прироста производительности ученых достигаются при малых долях высокопродуктивных исследователей, т. е. в тех случаях, когда требуется, скорее, выделить немногих лидеров на фоне преобладающего бал-ласта4, чем отсеять некоторых плохих работников. В то же время, как было показано ранее (см. рис. 6-8), именно в таких случаях ранжирование ученых и отсев низкопродуктивных работников приведут к многократному снижению абсолютной результативности науки.
Иначе говоря, при нынешнем уровне точности и достоверности наукометрических критериев их применение для ранжирования ученых приведет приблизительно к тем же результатам, что и механическое сокращение их численности. Более того, последний вариант потребует от ученых и государства гораздо меньше непроизводительных затрат и, вероятно, вызовет меньшее количество конфликтов, меньше будет способствовать формированию нездоровой психологической ситуации в научных коллективах. Авторам представляется перспективным использование, например, алфавитных критериев при ранжировании ученых, или критерия длины названия института при ранжировании учреждений. Как следует из проведенных выше параметрических расчетов, эти критерии,
3 Строго говоря, в перспективе речь может (и, вероятнее всего, должна) идти не о сокращении абсолютного количества ученых (оно в современной России уже и без того невелико по мировым меркам), а об отборе высокопродуктивных ученых из большего количества претендентов.
4 И хотя сторонники предлагаемых радикальных реформ российской науки считают именно такую картину наиболее реалистичной, столь сильные утверждения о квалификации российских ученых нуждаются, по мнению авторов, в более убедительном обосновании.
для которых р = q, обеспечат лишь незначительно худшие показатели общественной эффективности науки, чем изощренные наукометрические индексы (которые, как неоднократно показано в сборниках статей [2, 3], примерно так же обоснованны с содержательной точки зрения, как и указанные абсурдные альтернативы).
Относительно эффективными наукометрические критерии могут быть только при условии обеспечения вероятностей ошибок первого и второго рода порядка 10 % и менее. Такие требования к надежности ранжирования остаются практически недостижимыми при нынешнем уровне развития наукометрии. Достижимы ли в принципе такие уровни качества наукометрических показателей, - предмет особого анализа. Помимо критики «инструментальных» аспектов существующих наукометрических критериев, изложенной, например, в работах [2, 3], можно отметить несколько фундаментальных проблем их применения. Прежде всего любые биб-лиометрические показатели касаются прошлого и, строго говоря, не гарантируют той или иной продуктивности ученого в будущем. Кроме того, в источниках [2, 3] неоднократно приводились примеры возникновения обратных связей между введением формальных критериев и реальным качеством работы, в том числе научной. Широко известен эффект, называемый законом Гудхарта: при введении формальных показателей результативности или эффективности, объекты регулирования подстраиваются под них таким образом, чтобы увеличить именно эти показатели. Однако фактическая эффективность работы при этом возрастает гораздо слабее, чем растут формальные показатели, или даже падает. Как показано в источниках [2, 3], именно библио-метрические показатели результативности научной деятельности, особенно показатели цитируемости, оставляют обширные возможности для выработки таких стратегий «мимикрии под науку», причем не повышающих, а существенно понижающих реальное качество научных работ.
В предложенных здесь моделях предполагалось, что из общей массы ученых лишь выделяются более продуктивные исследователи, но их продуктивность в дальнейшем не возрастает, несмотря на кратное увеличение объема финансирования. Однако в реальности при улучшении материального положения исследователя можно рассчитывать на прирост производительности его труда, особенно если до того она существенно ограничивалась де-
фицитом времени для творческой научной работы, необходимостью ее прерывания для выполнения более высокооплачиваемых, но рутинных работ, либо дефицитностью материально-технической базы, которая и может быть преодолена благодаря концентрации ресурсов.
Кроме того, не учитывается коллективный характер научной работы, не учитывается то, что научное сообщество является системой, и оценивать эффективность ее элементов изолированно друг от друга некорректно. Нынешняя высокая продуктивность лидеров научного сообщества обеспечивается в определенной степени и деятельностью посредственных ученых (в противном случае, следовало бы для повышения эффективности в том числе и зарубежной науки уволить всех исследователей, кроме лауреатов Нобелевской премии, как малоэффективный балласт). Эти факторы являются предметом дальнейшего анализа.
Заключение
Проведенные параметрические расчеты показывают, что существенный прирост эффективности науки, многократное снижение затрат при относительно небольших потерях суммарной результативности научной сферы достижимы лишь:
- в некоторых специальных условиях, а именно при резкой сегрегации научного сообщества на относительно малочисленную - не более 10-20 % - элиту и многочисленный балласт, уступающий ей в продуктивности в несколько раз или даже на порядок;
- при использовании высокоточных критериев ранжирования с вероятностями ошибок первого и второго рода порядка 10 % и менее, что при нынешнем качестве наукометрических методов вряд ли достижимо.
В связи с этим ранжирование ученых по формальным наукометрическим критериям и передача всего объема финансирования выделенным лидерам, вероятнее всего, не принесет значимого повышения эффективности российской науки. При этом ее абсолютная результативность упадет почти пропорционально сокращению затрат на науку. Таким образом, отбор ученых по формальным наукометрическим критериям по своим результатам будет слабо отличаться от их механического сокращения.
Список литературы
1. Иванова Н. В., Клочков В. В. Экономические проблемы управления высокорисковыми инновационными проектами в наукоемкой промышленности // Проблемы управления. 2010. № 2. С. 25-33.
2. Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). М.: МЦНМО, 2011. 72 с.
3. Управление большими системами: сборник трудов. Специальный выпуск 44 «Наукометрия и экспертиза в управлении наукой». М.: ИПУ РАН, 2013. 568 с. URL: http://ubs. mtas. ru/archive/search_ results_new. php?publication_id=19079/.
List of references
1. Ivanova N. V., Klochkov V. V. Economic problems of high risk innovation projects management in science-intensive industries [Ekonomicheskie problemy uprav-leniia vysokoriskovymi innovatsionnymi proektami v naukoemkoi promyshlennosti], Problemy upravleniia -Control Sciences, 2010, no. 2, pp. 25-33.
2. Playing in tsifir, or as it is now estimate the scientist's work (collection of articles about library-metric) [Igra v tsyfir', ili kak teper' otsenivaiut trud uchenogo: sbornik statei o bibliomet-rike]. Moscow:
Moscow center of continuous mathematical education, 2011, 72 p.
3. Large scale systems control. Special issue 44 Scientometrics and expertise in scientific management [Upravlenie bol'shimi sistemami: sbornik trudov. Spetsial'nyi vypusk 44 Nauko-metriia i ekspertiza v upravlenii naukoi]. Moscow: The Institute of Control Sciences of RAS, 2013, 568 p., Available at: http://ubs. mtas. ru/archive/search_results_new. php?publication_ id=19079.
