CC BY-NC-ND
105
Грантовая поддержка фундаментальных исследований в России: уроки первого конкурса Российского научного фонда
Юрий Симачёв a
Директор по экономической политике, [email protected]
Людмила Засимова a
Доцент, Департамент прикладной экономики факультета экономических наук, [email protected]
Тимур Курбанов
Аспирант; главный специалист отдела организации экспертизы, [email protected]
!1 Национальный исследовательский университет «Высшая школа экономики», 101000, Москва, ул. Мясницкая, 20 ь Российский научный фонд, 109992, ГСП-2, Москва, ул. Солянка, д. 14, стр. 3
Аннотация
На основе результатов первого конкурса Российского научного фонда на предоставление грантов коллективам ученых для проведения фундаментальных и поисковых научных исследований, проведенного в 2014 г., в статье рассматриваются два вопроса: (1) какие заявки имеют наибольшие шансы на поддержку? (2) какие факторы предопределяют успех в конкурсе? Среди тематических направлений чаще других получали поддержку исследовательские проекты в области наук о жизни. С точки зрения организационного статуса в числе победителей преобладали заявки, подготовленные институтами Российской академии наук, а в региональном разрезе — инициативы заявителей из Москвы
и Московской области. Руководители проектов, которые удостоились грантов, выделяются высокими наукометрическими показателями.
Контроль различных переменных показывает, что ключевым фактором решения о поддержке научного проекта служит положительная оценка внешних экспертов. Помимо экспертных мнений на итоговую судьбу проектов влияют ряд дополнительных характеристик. Так, при прочих равных поддержки чаще добиваются заявки организаций Российской академии наук, руководители которых обладают докторскими степенями. Кроме того, некоторое преимущество имеют региональные проекты, особенно возглавляемые молодыми руководителями.
Ключевые слова:
грант;
фундаментальная наука; научная политика; финансирование науки; научная экспертиза.
Цитирование: Simachev Yu., Zasimova L., Kurbanov T. (2017) Basic Research Support by the Russian Science Foundation: What Can We Learn from the First Grant Competition? Foresight and STI Governance, vol. 11, no 4, pp. 74-83. DOI: 10.17323/2500-2597.2017.4.74.83
Одним из распространенных механизмов финансирования фундаментальной науки служит система грантов, выделяемых научными фондами (иногда — функционирующими по этому принципу агентствами), в первую очередь государственными. Подобные структуры располагают довольно значительными средствами. Так, в 2015 г. бюджет Национального научного фонда США (National Science Foundation, NSF) составил около 7.3 млрд долл.1, Японского общества содействия науке (Japan Society for the Promotion of Science, JSPS) — свыше 2.6 млрд долл.2 В мире действуют десятки подобных фондов и организаций, при этом их доли в валовых внутренних затратах на исследования и разработки (ИиР) (gross domestic expenditures on research and development, GERD) весьма внушительны (рис. 1).
В России основными научными фондами, предоставляющими гранты, до недавнего времени оставались государственные РФФИ и РГНФ. В конце 2013 г. список
пополнился Российским научным фондом (РНФ)3, который был учрежден отдельным законом4 и стал крупнейшим в стране институтом поддержки фундаментальных и поисковых научных исследований.
Объектом нашего анализа выступают результаты первого конкурса РНФ для финансовой поддержки научных проектов5 2014 г. Особенную значимость с точки зрения уроков деятельности РНФ и распространения лучшей практики представляют не только результаты селекции заявок, но и возможная (и неизбежная для любой экспертизы) пристрастность (biases) при их отборе в отношении отдельных групп заявителей и ее причины. На момент подготовки статьи со времени проведения первого конкурса прошло уже больше трех лет, за этот период состоялись более 20 других конкурсов РНФ. Требования к заявкам, условия участия в конкурсе, правила отбора победителей с тех пор подверглись уточнениям, подчас существенным, а экспертная сеть фонда — зна-
Рис. 1. Доли бюджетов ведущих научных фондов мира в национальных ВВП и GERD (долл. США)
18
16
Л н
и
а а
w о
«
я
о
te
«
2 ю 05
к о Ч
14
12
10
HELMHOLTZ
Г
JSPC
0
0.05
0.10
0.15
0.20
0.25
0.30
Доля бюджета фонда в ВВП страны (%)
Условные обозначения:
NIH — Национальные институты здравоохранения США (National Institutes of Health);
NRF — Национальный исследовательский фонд Кореи (National Research Foundation of Korea);
RCN — Исследовательский совет Норвегии (The Research Council of Norway);
JSPS — Японское общество содействия науке (Japan Society for the Promotion of Science);
CNRS — Национальный центр научных исследований Франции (Le Centre national de la recherche scientifique); NSF — Национальный научный фонд США (National Science Foundation);
NSFC — Национальный фонд естественных наук Китая (National Natural Science Foundation of China); DFG — Немецкое исследовательское общество (Deutsche Forschungsgemeinschaft);
Helmholtz — Объединение немецких научно-исследовательских центров им. Гельмгольца (Helmholtz Association of German Research Centres);
Humboldt — Фонд им. Александра фон Гумбольдта (Alexander von Humboldt Foundation);
РФФИ — Российский фонд фундаментальных исследований;
РГНФ — Российский гуманитарный научный фонд;
РНФ — Российский научный фонд
Источник: расчеты авторов на основе данных Всемирного банка (ВВП), ОЭСР (GERD), фондов и научных организаций.
8
6
4
2
1 Режим доступа: http://www.nsf.gov/about/congress/114/highlights/cul5_0109.jsp, дата обращения 07.01.2016.
2 Режим доступа: http://www.jsps.go.jp/english/aboutus/index4.html, дата обращения 07.01.2016.
3 Подробная информация о деятельности РНФ представлена на его официальном сайте: http://рнф.рф/ru/about, дата обращения 07.01.2016.
4 Федеральный закон от 02.11.2013 № 291-ФЗ «О Российском научном фонде и внесении изменений в отдельные законодательные акты Российской Федерации».
5 Официальное наименование: конкурс на получение грантов по приоритетному направлению деятельности Российского научного фонда «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами».
Табл. 1. Параметры первого конкурса РНФ по отраслям знания
Отрасль знания Количество допущенных заявок Количество поддержанных проектов Доля поддержанных проектов(%) Количество экспертных оценок Количество экспертных оценок на один проект (в среднем) Количество экспертиз на одного эксперта (медианное значение)
Математика, информатика и науки о системах 784 69 8.8 2302 2.94 4
Физика и науки о космосе 1305 115 8.8 3850 2.95 5
Химия и науки о материалах 1328 122 9.2 3910 2.94 7
Биология и науки о жизни 1085 150 13.8 3196 2.95 7
Фундаментальные исследования для медицины 972 123 12.7 2842 2.92 7
Сельскохозяйственные науки 120 17 14.2 343 2.86 2
Науки о Земле 703 70 10 2077 2.95 5
Социальные и гуманитарные науки 3 390 94 2.7 9772 2.88 14
Инженерные науки 1528 115 7.5 4350 2.85 3
Всего 11 215 875 7.8 32 642 2.91 6
Источник: расчеты авторов на основе данных РНФ.
чительному расширению и обновлению. С большой вероятностью, по-прежнему имеют место определенные предпочтения при отборе заявок, однако его критерии поменялись в связи со значительными трансформациями в самой организации научной среды, в структуре потока проектов.
Создание РНФ подвело черту в конкуренции различных подходов к финансированию фундаментальных исследований в России, включая такие традиционные инструменты, как государственное задание, тематические планы, госпрограммы и федеральные целевые программы (ФЦП) на основе контрактов или бюджетных субсидий и собственно гранты научных фондов. РНФ стал символом решительного разворота от целевых программ к фондам, от бюджетных контрактов — к грантам, изменив цепочки принятия решений, правила игры и круг основных бенефициаров. Подобный крен в научной политике породил интенсивные дискуссии (далеко не только академические) о том, насколько оправданна экспансия грантовых механизмов, не возникают ли вместо одних проблем другие.
Первый конкурс РНФ примечателен, в частности, своей массовостью: более 12 тыс. заявок по всем основным областям знания от исследовательских групп, насчитывающих свыше 90 тыс. участников. При обсуждении итогов новых конкурсов РНФ, а также общих подходов к поддержке российской фундаментальной науки в целом участники дискуссий по-прежнему нередко оперируют определенными личными впечатлениями, связанными именно со стартовым периодом деятельности фонда.
Для государственной политики в России (и научная — не исключение) характерны маятниковые изменения, когда на каждом следующем витке реформирования абсолютизируются недостатки предыдущего, а динамика изменений нередко сводится к дрейфу от одной крайности к другой, их воспроизводству. Компромисс-ность некоторых решений начального этапа побуждает проанализировать издержки различных способов организации деятельности научных фондов. Ценность
ретроанализа состоит в возможности избежать потенциальных рисков благодаря учету прежнего негативного опыта. Впрочем, подобный подход не лишен ограничений, поскольку не предполагает формальной или содержательной оценки результатов и их сопоставления с исходными экспертными отзывами на заявленные исследовательские проекты.
Особенности первого конкурса РНФ
Первый конкурс по поддержке исследовательских проектов, выполняемых отдельными научными группами, по всем отраслям знания был объявлен в феврале 2014 г. со сроком реализации в 2014-2016 гг. и перспективой продления в пределах года-двух. Из первоначально поданных 12 774 заявок до экспертизы были допущены 11 215 от коллективов из более чем 1200 организаций (табл. 1). Заметное численное преимущество среди них имели проекты в области социальных и гуманитарных наук. Экспертами были отобраны для поддержки 875 исследовательских проектов, хотя, как отмечали организаторы, количество достойных заявок в 2.5 раза превзошло грантовые возможности фонда [Хлунов, 2014].
Первый из двух этапов экспертизы состоял в оценке заявок и подготовке заключений по каждой из них. За распределение проектов между экспертами фонда отвечали координаторы секций экспертного совета. Процедура рецензирования была односторонне слепой: исследователи не знали своих рецензентов, тогда как последним были доступны сведения о составе групп заявителей. Каждую заявку по нескольким критериям, причем независимо друг от друга, оценивали три эксперта. Отдельный проект мог набрать от 0 до 120 итоговых баллов, выставляемых автоматически при выборе соответствующих пунктов экспертного заключения. На втором этапе заявки оценивались секциями экспертного совета на основе предварительных заключений. Во избежание конфликта интересов рекомендованные к финансированию проекты с участием членов совета должны были быть до-
полнительно одобрены тайным голосованием после второго этапа экспертизы. Руководство фонда подчеркивало важность учета мнений самих ученых при принятии окончательного решения [Хлунов, 2014].
Отметим некоторые особенности первого конкурса РНФ в сравнении с теми, которые проводились другими российскими научными фондами. К началу 2014 г. завершилась реализация двух крупных научных программ — «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 гг.» и «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг. По их окончании прервалось финансирование деятельности многих научных коллективов, что побудило организаторов только что созданного фонда провести конкурс в кратчайшие сроки. Закон об учреждении РНФ был подписан 2 ноября 2013 г., а первый конкурс по поддержке научных групп был объявлен уже 6 февраля 2014 г. с подведением итогов 20 мая [РНФ, 2015].
Высокий интерес к конкурсу со стороны исследователей был связан не только с разрывом в финансировании, но и с уникальной возможностью получить значительные ресурсы (до 5 млн руб. в год на одну группу) на гибких условиях расходования и при умеренной бюрократической нагрузке. Эти же обстоятельства обусловили и непривычно жесткие для большинства ученых принципы отбора заявок: удельный вес победителей (success rate) в общем числе заявителей не превысил 8%. Для зарубежного контекста подобный коэффициент прохождения не является чем-то уникальным. Так, уровень поддержки заявок в Национальном агентстве научных исследований Франции (Agence nationale de la recherche, ANR) составляет 8-12% [ANR, 2015]. Однако развернувшиеся после подведения итогов конкурса РНФ дискуссии показали, что многие исследователи, ранее претендовавшие на гранты РФФИ и РГНФ, рассчитывали, что поддержки удостоятся примерно треть проектов, а опыт участия в других конкурсах будет легко повторить. Как следствие, поражение стало для них неприятной неожиданностью, а заявленная РНФ логика отбора лучших проектов из хороших не нашла понимания.
Важнейшей новацией организаторов стал принцип «входного билета» — требования к минимальному числу публикаций руководителя коллектива в журналах, индексируемых в Web of Science (WoS) или Scopus. В первом конкурсе данное правило распространялось не на все отрасли знаний — исключение было сделано для социо-гуманитарных наук, которым удалось отстоять свою дисциплинарную и национальную специфику. В результате гуманитарии оказались в нерационально высококонкурентных условиях с максимальным числом поданных заявок, из которых поддержаны были менее 3% (см. табл. 1), и нагрузкой на экспертов — каждый из них в среднем должен был провести 14 экспертиз в течение двух месяцев.
Экспертиза в рамках первого конкурса РНФ была исключительно масштабной и чрезвычайно ограниченной во времени. В процесс оценки заявок были вовлечены более 2.5 тыс. экспертов, общее число подготовленных экспертиз превысило 32 тыс., на одну принятую к рас-
смотрению заявку приходилось в среднем по три заключения. В отсутствие у РНФ на момент его создания собственной экспертной базы к работе были привлечены специалисты РФФИ и РГНФ, а по некоторым кодам классификации — дополнительные внешние эксперты [Клименко, 2014].
Исследовательские гипотезы и исходные данные
Механизм грантов призван решить проблему недофинансирования фундаментальной науки частным сектором, обусловленную множеством причин: высоким риском, низкой или нулевой предельной выгодой от применения научных результатов, трудностями капитализации фундаментальных открытий [Nelson, 1959; Pavitt, 1991]. Не оспаривая целесообразности государственной поддержки научных исследований, в дальнейших рассуждениях мы будем опираться на работы, посвященные ее оптимальной организации, в том числе решению проблем вытеснения частных инвестиций государственными [Mowery, 1990] и поиску оптимальных путей гранто-вого финансирования.
Исследования грантового финансирования науки выявили серьезные недостатки этого механизма в практике разных стран. Например, для подачи заявки нередко требуется представить уже имеющиеся результаты исследования, т. е. шанс на поддержку имеют лишь команды с соответствующими портфолио [Lazeur, 1997]. Другая распространенная проблема — учет прежних достижений заявителей, так называемый эффект Матфея (Matthew effect) [Merton, 1968; Antonelli, Crespi, 2011]. В случае гран-тового финансирования он выражется в наделении преимуществами тех научных групп, которые на момент подачи заявки уже имеют лучшую репутацию, заслуги, условия для работы и т. д. С одной стороны, такая политика научного фонда стимулирует молодых исследователей лучше реализовать текущий проект, поскольку его результаты будут учитываться в будущем [Lazeur, 1997]. С другой — средства фонда будут распределяться в пользу более опытных участников.
Актуальность описанных барьеров подтверждается современными эмпирическими исследованиями. В статье [Arora, Gambardella, 2005] на основе практики отбора проектов в NSF рассмотрено влияние на экспертные оценки и на итоговое решение о финансировании таких переменных, как: характеристика ведущего исследователя или руководителя проекта (пол, срок с момента получения степени PhD); название и тип организации-заявителя; количество участников проекта; число публикаций за пять предыдущих лет, взвешенное на качество; отзывы рецензентов и т. д. Авторы показывают, что с оценкой экспертов положительно коррелирует число публикаций заявителя. Даже уступающие другим по формальным параметрам проекты ученых с серьезной научной репутацией имеют преимущество при принятии решения о финансировании, тогда как молодым исследователям шанс на поддержку дают лишь исключительные успехи (таких ученых авторы называют «звездами»). Существует и позитивная дискриминация,
выражающаяся в небольшом преимуществе заявок из регионов перед столичными командами.
Очевидным ответом на существующие вызовы в сфере государственного финансирования научных проектов служит разработка оптимального механизма их отбора. Наряду с прямой зависимостью между получением гранта и числом публикаций заявителя [Arora, Gambardella, 2005; Jacob, Lefgren, 2011; Gush et al., 2015] имеются признаки и обратной связи: вероятность быть опубликованным у обладателей гранта существенно возрастает. Так, опыт новозеландского Фонда Марсдена (Marsden Fund) [Gush et al., 2015] свидетельствует о росте публикационной активности даже в случае слабых проектов: поддержка последних со стороны фонда служила сигналом об их качестве и подогревала интерес редакций научных журналов к публикации статей участников.
Выбор механизма отбора заявок состоит в поиске баланса между непредвзятой, «слепой» экспертизой и возможностью «ручной» настройки. Пример NIH подтверждает, что чем выше экспертные оценки проекта на первом этапе отбора, тем лучше научные результаты получивших поддержку команд с точки зрения цитируемости, числа патентов и публикаций, влияния на развитие отрасли знания при контроле за прочими факторами [Li, Agha, 2015]. Вместе с тем баллы примерно 1% проектов не достигали проходного уровня, но для них было сделано исключение по инициативе руководителей программ. С позиций публикационной активности участников продуктивность подобных отобранных «вручную» проектов оказалась сопоставимой c набравшими высокие баллы на отборочном этапе. Авторы другого исследования [Park et al., 2015] сравнивали два механизма распределения средств NIH — регулярный и дополнительный конкурсы. Последний проводится на тех же условиях, что и основной конкурс, и охватывает проекты, которые не были отобраны, но получили высокие баллы. Сравнение результатов не обнаруживает значимой разницы между командами — гран-тополучателями в рамках двух конкурсов.
Как видно, этап конкурсного отбора не позволяет заранее оценить перспективы проекта и валидность выставленных экспертами баллов. Поэтому исследователи грантового финансирования науки сосредоточены на изучении факторов, влияющих на выбор проектов. Основные затруднения создают непрозрачность и предопределенность результатов. Несмотря на принципиальную значимость экспертных оценок (peer review) для успешной работы научных фондов, их решениям присущи определенная произвольность и пристрастность. Несовершенству подобных процедур посвящено множество работ, авторы которых отмечают предвзятость в отношении женщин, менее престижных организаций и направлений исследований, а также интеллектуальное «пиратство» и препоны на пути публикации работ [Smith, 2006; Benos et al., 2007]. Оптимальный механизм отбора проектов, позволяющий минимизировать ошибки первого или второго рода, становится, таким образом, ключевым вопросом при обсуждении грантового финансирования науки.
Масштабные эмпирические исследования результатов отбора научных проектов в России ранее не проводились. Зарубежные наработки и отечественные дис-
куссии, спровоцированные итогами первого конкурса РНФ, позволяют сформулировать следующие гипотезы относительно факторов успеха заявок на финансирование фундаментальных исследований:
Гипотеза 1. Преимущество получают группы, на момент подачи заявки пользующиеся лучшей репутацией, прежде всего связанной с заслугами руководителя: ученой степенью, числом публикаций и т. д.
Гипотеза 2. На поддержку проектов влияет оценка не только отдельных экспертов, но и экспертного совета в целом, зависящая от характеристик группы (руководителя и исполнителей) и заявки (объем запрашиваемого финансирования, число планируемых публикаций).
Гипотеза 3. При равных экспертных оценках более высокие шансы на поддержку имеют коллективы из академических институтов, расположенных в Москве и Московской области.
Эмпирическую базу нашего исследования составили свыше 32 тыс. экспертных заключений на более чем 11 тыс. заявок. В основу анализа легли данные о победивших заявках, о командах заявителей (число публикаций руководителя и рядовых членов, возраст, пол) и о самих проектах (отрасль науки, ожидаемые результаты и т. д.). Для оценки вероятностных факторов поддержки проекта использовался регрессионный анализ — модель бинарного выбора.
Поскольку сконструировать переменную, позволяющую безошибочно определить качество заявки на отборочном этапе, невозможно, использовались косвенные свидетельства потенциала проекта. В модель были включены следующие группы переменных (их характеристики представлены в табл. 2):
(1) руководитель проекта: возраст, пол, число публикаций, индексируемых в Web of Science (WoS), и ученая степень;
(2) участники проекта: общая численность, число кандидатов наук в возрасте до 35 лет, характеристики организации (территориальная принадлежность, статус (Национальный исследовательский университет (НИУ), академический институт и т. п.));
(3) заявка: объем запрашиваемого финансирования, число заявленных публикаций по результатам проекта в журналах, индексируемых в WoS, мультидисциплинар-ность проекта.
Для оценки взаимодействия факторов мы использовали логистическую регрессионную модель с зависимой переменной «Поддержан проект или нет». В общем виде она выглядит следующим образом:
ln(P / (1 - P)) = B + B\ Mark + ... + B\NRU (1)
44 J J 0 1 mean 26 4 J
где:
P — вероятность поддержки проекта;
В1, ...В26 — коэффициенты при независимых переменных;
Mark_mean, ... NRU — независимые переменные.
Разные спецификации модели, отличающиеся набором независимых переменных, были протестированы на робастность. В первой модели независимой переменной служили средние оценки, во второй был добавлен кон-
Табл. 2. Характеристика переменных, используемых для анализа
Наименование Значение Min Max Стандартное отклонение Среднее
Awarded 1 — грант получен, 0 — не получен 0 1 0.268 0.078
Mark mean Средняя оценка по проекту 0.5 120 19 68
PI WoS (Hirsh) Индекс Хирша руководителя группы по 'МзЗ 0 84 8.3 9
PI WoS (publ-s) Количество публикаций руководителя группы в 'МзЗ за 5 лет 0 533 21.5 11.8
Msk_plus_obl 1 — организация, через которую группа участвует в конкурсе, представляет Москву или Московскую область 0 1 0.48 0.35
Age PI Возраст руководителя группы на 1 апреля 2014 г. 22 92 13.7 53.2
Gender PI Мужчина — 1, женщина — 0 0 1 0.46 0.7
WoS_promise Число публикаций в 'МзЗ, заявленных в будущем отчете за весь проект 0 65 4.8 5.9
Number participants Число участников группы 1 55 3.48 8.36
Number_young_candid Число кандидатов наук в возрасте до 35 лет на момент проведения конкурса 1 21 1 1.74
Multidisciplinary 0 — проект мультидисциплинарный, 1 — немультидисциплинарный 0 0.27 0.92
NRU 0 — организация не является НИУ, 1 — организация является НИУ 0 0.34 0.13
Academy 0 — организация не является академической, 1 — организация является академической 0 0.48 0.355
PI_doct 1 — у руководителя есть степень доктора наук, 0 — нет степени доктора 0 0.475 0.655
Requested finance_50_2000 1 — запрашиваемое финансирование от 50 тыс. до 2 млн руб., 0 — запрашиваемое финансирование — 2 млн руб. и более 0 0.34 0.13
Requested finance_2000_4000 1 — запрашиваемое финансирование от 2 до 4 млн руб., 0 — запрашиваемое финансирование до 2 млн руб. или от 4 млн руб. и более 0 0.44 0.26
Requested finance_4000_5000 1 — запрашиваемое финансирование от 4 до 5 млн руб., 0 — запрашиваемое финансирование до 4 млн руб. 0 0.49 0.6
WoS_promise_0 1 — отсутствует количество обещанных публикаций; 0 — количество обещанных публикаций больше 0 0 0.16 0.03
WoS_promise_1_10 1 — количество обещанных публикаций от 1 до 10; 0 — иное количество обещанных публикаций 0 0.34 0.87
WoS_promise_8_plus 1 — количество обещанных публикаций от 8 и более; 0 — иное количество обещанных публикаций 0 0.43 0.25
WoS_promise_11_20 1 — количество обещанных публикаций от 11 до 20; 0 — иное количество обещанных публикаций 0 0.29 0.09
WoS_promise_21_65 1 — количество обещанных публикаций от 21 до 65; 0 — иное количество обещанных публикаций 0 0.12 0.014
Age_P I_before_35 1 — возраст руководителя группы менее 35 лет; 0 — возраст руководителя 35 лет и более 0 0.33 0.12
Age_PI_35_45 1 — возраст руководителя группы от 35 до 45 лет; 0 — возраст руководителя до 35 и более 45 лет 0 0.38 0.17
Age_PI_45_55 1 — возраст руководителя группы от 45 до 55 лет; 0 — возраст руководителя до 45 и более 55 лет 0 0.4 0.2
Age_PI_55_plus 1 — возраст руководителя группы 55 и более лет; 0 — возраст руководителя до 55 лет 0 0.5 0.51
Источник: расчеты авторов на основе данных РНФ.
троль на отрасли знания, в третьей — некоторые важные независимые переменные, итоговая четвертая модель включала полный набор факторов.
Основные результаты
Кратко рассмотрим наиболее существенные различия между поддержанными и не поддержанными проектами (табл. 3). Можно сразу отметить, что решения о поддержке базировались в основном на экспертных оценках.
Как показывают результаты конкурсного отбора заявок РНФ на фундаментальные исследования по отраслям знания, поддержки чаще удостаивались проекты в области наук о жизни. Вероятно, это объясняется изна-
чальной ориентацией фонда на восполнение недостатка внимания со стороны традиционной системы финансирования науки к темам, напрямую связанным с потребностями человека, — биологии, медицине, сельскому хозяйству. Дескриптивный анализ позволил установить, что преимущество имели проекты с большим числом участников, под руководством мужчин, обладателей докторских степеней, заметно превосходящих своих проигравших коллег по возрасту. Впрочем, некоторые из этих признаков присущи любому качественному исследовательскому проекту. В сравнении со структурой поданных заявок среди победителей выше удельный вес проектов академических организаций, а также заявителей из Москвы и Московской области. Однако такое по-
Табл. 3. Сравнительные характеристики поддержанных и не поддержанных проектов в рамках
первого конкурса РНФ
Индикатор Проект поддержан Проект не поддержан Все заявки по конкурсу
Средняя оценка по проекту 98.7 65.4 68
Средний возраст руководителя 56.7 52.9 53.2
Доля мужчин — руководителей проекта (%) 85 69 70
Среднее число публикаций руководителя проекта в Шэ8 за 5 лет 26.7 10.3 11.6
Индекс Хирша руководителя проекта в 'МзЗ 14.8 7.8 9
Доля обладателей докторских степеней среди руководителей проектов (%) 85.3 63.8 65
Средняя численность участников проекта 11 8.13 8.4
Среднее число молодых кандидатов наук в возрасте до 35 лет в проекте 2.14 1.7 1.7
Средний запрошенный объем гранта (тыс. руб.) 4624 3764.4 3831.4
Среднее количество публикаций в Шэ8, заявленных в качестве отчетных материалов по проекту 8.4 5.6 5.9
Доля заявителей из НИУ (%) 9.3 13.3 13
Доля заявителей из академических организаций (%) 59.2 33.5 36
Доля проектов из Москвы или Московской области (%) 52 34 35
Доля мультидисциплинарных проектов (%) 9 7.7 8
Доля проектов по социальным наукам (%) 10.7 31.9 30.2
Доля проектов по биологии и медицине (%) 31.2 17.3 18.3
Доля проектов по математике, физике, химии (%) 35 30.1 30.5
Примечание: 875 поддержанных проектов, 10 340 не поддержанных. Источник: расчеты авторов на основе данных РНФ.
ложение дел может быть простым следствием высокой концентрации ведущих ученых в Российской академии наук, а исследовательских организаций — в Москве.
Публикационная активность участников проектов, в первую очередь их руководителей, оказалась весьма значимым признаком селекции (табл. 4). Между отраслями науки также наблюдаются существенные различия, отражающие не столько особенности каждой из них, сколько специфику их развития в России — интегриро-ванность в мировой контекст или, напротив, изолированность.
Для установления возможной пристрастности при отборе проектов был проведен регрессионный анализ по
четырем спецификациям (табл. 5), отличающимся набором независимых переменных, дополненный регрессионным анализом по отраслям науки (табл. 6). Сразу отметим, что оценка проекта экспертами оказалась значимой во всех спецификациях, причем предельный эффект по данной объясняющей переменной был максимальным.
Экспертные оценки, служившие некоторым индикатором при принятии решения об отборе заявки советом РНФ, в ряде случаев, особенно при противоречивых заключениях, могли отличаться от итоговой позиции секции. Масштабы подобного расхождения в целом специфичны для каждой отрасли науки, уровня ее интеграции в глобальный контекст и практической ориента-
Табл. 4. Сравнение публикационной активности руководителей победивших и проигравших заявок в изданиях, индексируемых в WoS и РИНЦ, по отраслям науки
Область знаний Входные условия для руководителя Медиана публикаций WoS за 5 лет Медиана публикаций РИНЦ за 5 лет
Поддержан Не поддержан Поддержан Не поддержан
Математика > 3 публикаций WoS/Scopus 14 7 24 16
Физика > 3 публикаций WoS/Scopus 27 13 32.5 19
Химия > 3 публикаций WoS/Scopus 36 11 44 21
Биология > 3 публикаций WoS/Scopus 19 8 21 14
Медицина > 3 публикаций WoS/Scopus 18 7 34 22
Сельское хозяйство > 3 публикаций WoS/Scopus 8.5 5 23 21
Науки о Земле > 3 публикаций WoS/Scopus 12 7 27 15
Социальные и гуманитарные науки > 3 публикаций WoS/Scopus или РИНЦ (или рецензируемая монография) 2 0 23 13
Инженерные науки > 3 публикаций WoS/Scopus или > 2 таких публикаций и > 2 результатов интеллектуальной деятельности, имеющих правовую охрану 16 4 31 18
Источник: расчеты авторов на основе данных РНФ.
Табл. 5. Результаты регрессионного анализа выбора в пользу предоставления поддержки исследовательскому проекту в рамках первого конкурса РНФ
Индикаторы Спецификация СО Спецификация (2) Спецификация (3) Спецификация (4)
Переменная Значение коэффициента Значение коэффициента Значение коэффициента Значение коэффициента
Средняя оценка по проекту 0,292*** (0,010) 0,367*** (0,013) 0.365*** (0.013) 0.367*** (0.014)
Возраст руководителя — до 35 лет Нет в модели Нет в модели 0.912*** (0.31) 1.019*** (0.321)
Возраст руководителя — от 35 до 45 лет Нет в модели Нет в модели 0.548** (0.229) 0.5778** (0.238)
Ученая степень руководителя — доктор наук Нет в модели Нет в модели 0.424** (0.199) 0.409** (0.207)
Москва или Московская область Нет в модели Нет в модели n.s. -0.314** (0.136)
Академические организации Нет в модели Нет в модели 0.515*** (0.129) 0.484*** (0.145)
Количество участников группы Нет в модели Нет в модели 0.092*** (0.018) 0.105*** (0.021)
Мультидисциплинарность Нет в модели Нет в модели -0.521** (0.225) -0.631*** (0.235)
Контроль на отрасли знания нет да да да
Количество наблюдений 11 211 11 211 11 041 8 761
РБе^о Я2 0.64 0.71 0.72 0.714
Примечания: *** — р < 0.01, ** — р < 0.05, и.8. — не значимо, в скобках представлены стандартные ошибки, указаны только значимые переменные.
| Источник: расчеты авторов на основе данных РНФ.
ции. Так, экспертные суждения по точным наукам (hard science), как правило, менее противоречивы, чем по социальным и гуманитарным (soft science). Не менее значима, по-видимому, и общая ориентация той или иной секции на активные либо эволюционные изменения в конкретной сфере. Максимальное единодушие продемонстрировали эксперты из секции экспертного совета по таким областям знания, как инженерные науки, науки о Земле, физика и химия. Наиболее глубокой корректировки
потребовали проекты в области математики, биологии, медицины, дисциплин социогуманитарного спектра (см. табл. 6).
Что касается предвзятости в отношении руководителей проектов, то регрессионное моделирование позволяет признать отсутствие при отборе заявок тендерного неравенства — этот фактор незначим как в третьей, так и в четвертой спецификации, тогда как возрастные предпочтения сдвигаются в обратную от отмеченной
Табл. 6. Результаты регрессионного анализа по отраслям знания (только значимые переменные)
Переменная Математика Физика Химия Биология Медицина Науки о Земле Социальные науки Инженерные науки
Средняя оценка по проекту 0.252*** (0.032) 0.798*** (0.108) 0.547*** (0.072) 0.280*** (0.026) 0.272*** (0.028) 0.793*** (0.147) 0.362*** (0.046) 1.697*** (0.356)
Число публикаций руководителя в Шо8 n.s. n.s. 0.021* (0.013) 0.044*** (0.015) 0.017* (0.010) n.s. n.s. n.s.
Пол руководителя (1 — мужчина) 2.953** (1.26) n.s. n.s. n.s. n.s. n.s. n.s. n.s.
Возраст руководителя — 55 лет и старше n.s. n.s. n.s. n.s. n.s. n.s. n.s. (на границе) n.s.
Москва или Московская область n.s. n.s. n.s. -0.955*** (0.341) n.s. n.s. -0.903** (0.450) n.s.
Академия 1.544*** (0.439) 1.05* (0.61) n.s. n.s. n.s. n.s. n.s. n.s.
Количество молодых кандидатов наук до 35 лет n.s. n.s. n.s. -0.267* (0.15) n.s. n.s. n.s. n.s.
Обещание опубликовать 8 и более публикаций n.s. n.s. n.s. 0.659* (0.357) n.s. n.s. n.s. (на границе) n.s.
Мультидисциплинарность n.s. n.s. n.s. n.s. -1.54*** (0.589) n.s. -2.860** (1.434) n.s.
Количество участников группы n.s. n.s. 0.276*** (0.093) n.s. n.s. 0.355*** (0.108) n.s. 0.297** (0.149)
Число наблюдений 733 1237 1258 1047 877 665 1552 1283
Р8е^о Я2 0.55 0.84 0.84 0.67 0.64 0.84 0.71 0.94
*** - p < 0.01, ** - p < 0.05, * - p < 0.1.
Источник: расчеты авторов на основе данных РНФ.
при дескриптивном анализе сторону — в пользу более молодых руководителей. Эти выводы в целом согласуются с основными параметрами эффективного грантово-го финансирования, представленными в работе [Lazeur, 1997]. Впрочем, едва ли члены экспертного совета руководствовались подобными теоретическими выкладками, свою роль сыграло скорее чувство личной моральной ответственности за судьбу молодых ученых. Вместе с тем несколько повышенное внимание к статусам все же прослеживается — при прочих равных победителями чаще становились исследовательские коллективы, возглавляемые докторами наук.
Обязательства групп по числу будущих публикаций6 в целом не были заметным фактором при отборе, в том числе на уровне отдельных отраслей науки (за исключением биологии). На наш взгляд, это объясняется склонностью исследователей ради победы заявлять малореалистичные публикационные планы. Так, некоторые из претендентов обязались в течение трех лет подготовить более 40 публикаций в журналах, индексируемых в WoS, хотя руководители групп не имели ни одной подобной публикации за пять предшествующих подаче заявки лет.
Некоторое преимущество в отборе имели проекты с большим числом участников, чему трудно дать однозначную оценку. По одним данным [Park et al., 2015], размеры группы могут иметь положительную связь с качеством проекта. Нам же представляется, что для многих коллективов финансирование со стороны РНФ служит способом общего повышения уровня оплаты труда при неготовности к реальной конкуренции за гранты. В отношении междисциплинарно сти регрессионный анализ дал прямо обратный наблюдавшемуся при селекции эффект — при прочих равных этот фактор скорее препятствует поддержке проектов. Мы полагаем, что это связано с обременительной необходимостью заручаться одобрением как минимум двух секций экспертного совета.
Сомнения в непредвзятости при отборе проектов из академических организаций скорее подтвердились — именно им отдавали предпочтение эксперты. Объяснить это можно высокой долей академических ученых в самом совете фонда: примерно шесть сотрудников институтов РАН на одного вузовского работника. Более убедительной, впрочем, представляется иная версия. В начале 2014 г., когда проходил конкурс, академические институты переживали этап болезненной организационной и финансовой трансформации, а потому вызывали у коллег желание помочь. Что касается регионального распределения, то гипотеза о преимуществе проектов из Москвы и Московской области не подтвердилась. Вероятно, эксперты фонда исходили из того, что именно регионы острее всего нуждаются в ресурсах для проведения исследований. Поддержка развития науки, формирование благоприятной инновационной среды в регионах считаются важными компонентами деятельности профильных фондов во всем мире. В частности, анализ селекции заявок в NSF [Arora, Gambardella, 2005] также показал на-
личие позитивной дискриминации в данном отношении: наивысшими шансами на получение гранта обладали проекты из регионов.
Обсуждение результатов
С точки зрения возможных направлений дальнейшей поддержки фундаментальной науки в частности и российской научной политики в целом сохраняют актуальность следующие вопросы.
Насколько отбор заявок отражал мнение научного сообщества, т. е. экспертные оценки?
Основным механизмом селекции проектов научными фондами служит рецензирование заявок учеными (peerreview). Иногда он подменяется внешними экспертными отзывами, однако применительно к peer-review речь, как правило, идет об оценке исследователей, коллег. Вопреки звучавшим мнениям уровень экспертов РНФ (с некоторой условностью измеряемый по числу публикаций в журналах, индексируемых WoS или Scopus) был сопоставим с таковым среди руководителей исследовательских групп, хотя и ниже, чем у победителей. Вовлечение в отбор проектов действующих ученых имеет положительные и отрицательные стороны. К первым можно отнести квалифицированность и заинтересованность суждений, распространение различных подходов и идей в научной среде, формирование новых коллабораций. Издержками подобного подхода, особенно при ставке на привлечение для оценки только отечественных ученых (что было характерно на начальном периоде деятельности РНФ), становятся кастовость, конфликты интересов, а иногда и риск снижения качества отбора при недостаточном уровне развития отечественной науки по отдельным областям знания.
Сами результаты отбора РНФ служат свидетельством приоритетности экспертных мнений: эмпирический анализ показал, что средняя оценка проекта была решающим фактором селекции.
Насколько позитивной оказалась роль отбора исследовательских проектов?
Корректно ответить на этот вопрос позволило бы подведение итогов реализации проектов и сопоставление исследовательских результатов команд, получивших поддержку фонда, с теми, которым в ней было отказано. Однако уже сейчас можно отметить, что руководители победивших групп во всех областях наук кратно превосходят своих коллег не только по числу публикаций в рецензируемых журналах, но и по индексу Хирша в WoS. Мы не склонны переоценивать значение этого показателя, однако как инструмент статистики он достаточно удобен. Не будет большим преувеличением сказать, что первому конкурсу РНФ удалось стать механизмом селекции уникальных представителей российского научного сообщества. Примерно такую цель — поддержать исследования и ученых мирового уровня — и ставили перед собой инициаторы создания РНФ.
6 Дескриптивный анализ показал, что руководители победивших коллективов не только превосходят своих конкурентов по числу публикаций, но и берут на себя большие публикационные обязательства в ходе реализации научного проекта.
Анализируя допущенные в ходе отбора неизбежные ошибки первого и второго рода и вынося за скобки финансовые ограничения, в которых РНФ приходилось действовать, заметим, что не все сильные проекты удостоились поддержки. В целом принцип проведенной селекции заявок можно признать меритократическим.
Можно ли выделить некое идеологическое родство разделяемых экспертами склонностей, предвзятостей и пристрастий?
Выявленные нами преимущества проектов с большим числом участников, принадлежащих академическим институтам из регионов, на наш взгляд, укладываются в традиционную для научного сообщества патерналистскую модель, дополняющую состязательность принципом социальной справедливости. При выборе победителей столкнулись две логики: поощрение достигнутых vs стимулирование будущих результатов, проектный подход vs распределительный принцип финансирования. Мы полагаем, что заметные социальные мотивы при отборе возникают вследствие общей несбалансированности структуры финансирования российской фундаментальной науки, прежде всего недостатка базового финансирования.
Искажение мотивации заявителей РНФ в значительной мере вызвано ограниченностью иных источников финансирования фундаментальной науки. Для многих научных коллективов средства фонда были условием выживания, что побуждало к активности в подаче заявок в сочетании с различными формами косвенного давления. Подобная перегрузка грантовых систем научных фондов как результат сокращения базовых источников финансирования отмечалась и в странах с гораздо более обеспеченной наукой. Интенсивный фандрайзинг представляется позитивным фактором, расширяющим возможности отбора лучших проектов. Вместе с тем он от-
ражает сокращение прежних возможностей вкупе с прямым административным стимулированием. В частности, в отдельных институтах и университетах стали внедрять целевые показатели числа полученных грантов РНФ, а в некоторых случаях — и числа поданных заявок.
Как первый конкурс РНФ повлиял на поведение и мотивацию ученых?
Во-первых, возникли предпосылки к самоселекции учеными собственных предложений до подачи заявки в научный фонд, возросла ответственность за принятые на себя обязательства. Во-вторых, закрепилась индивидуальная мотивация к публикации в международных рецензируемых журналах, а редакции самих академических изданий получили дополнительные стимулы к индексации в Scopus и WoS. В-третьих, со стороны научного сообщества возник запрос на регулирование этических вопросов. В-четвертых, вырос спрос на сильных научных лидеров, способных ставить амбициозные исследовательские цели и достигать их на проектной основе, привлекая к работе специалистов из различных организаций.
Важно, что в итоге сложился устойчивый тренд на совершенствование правил деятельности РНФ в целом, а не принятие рациональных, но точечных решений. Практика показывает, что лучшие правила формируются самим научным сообществом, если эти правила в последующем последовательно и настойчиво выполняются научными фондами.
Предварительные результаты данного исследования были представлены на апрельской Международной конференции по проблемам развития экономики и общества НИУ ВШЭ (Москва, 19 апреля 2016 г.). Некоторые дополнительные результаты и интерпретации были представлены на Международной конференции «Развивающиеся рынки: перспективы развития бизнеса и государства», организованной Высшей школой менеджмента СПбГУ (Санкт-Петербург, 6 октября 2016 г.).
Библиография
Клименко А.В. (2014) Все по-честному. Ученые оценят объективность экспертизы РНФ (интервью) // Научное обозрение.
28.05.2014. Режим доступа: http://scientific.ics.org.ru/news/uchenye-ocenyat-obektivnost-ekspertizy-rnf, дата обращения 12.07.2016. РНФ (2015) Отчет Российского научного фонда за 2014 год. М.: Российский научный фонд.
Хлунов А.В. (2014) Хороших заявок в два с половиной раза больше, чем грантов (интервью) // Газета.Ру. 23.05.2014. Режим доступа:
http://www.gazeta.ru/science/interview/nm/s6040141.shtml, дата обращения 12.07.2016. ANR (2015) Annual Report 2015. Paris: Agence Nationale de la Recherche.
Antonelli C., Crespi F. (2011) Matthew Effects and R&D Subsidies: Knowledge Cumulability in High-tech and Low-tech Industries. Working
Paper 11/2011. Rome: University 'Roma Tre'. Arora A., Gambardella A. (2005) The impact of NSF support for basic research in economics // Annales d'Economie et de Statistique. № 79-80. P. 91-117.
Benos D.J., Bashari E., Chaves J.M., Gaggar A., Kapoor N., LaFrance M., Mans R., Mayhew D., McGowan S., Polter A., Qadri Y., Sarfare S., Schultz K., Splittgerber R., Stephenson J., Tower C., Grace W.R., Zotov A. (2007) The ups and downs of peer review // Advances in Physiology Education. Vol. 31. № 2. Р. 145-152. Gush J., Jaffe A.B., Larsen V., Laws A. (2015) The Effect of Public Funding on Research Output: The New Zealand Marsden Fund. NBER
Working Paper № w21652. Cambridge, MA: National Bureau of Economic Research. Jacob B.A., Lefgren L. (2011) The impact of research grant funding on scientific productivity // Journal of Public Economics. Vol. 95. № 9. Р. 1168-1177.
Lazeur E.P. (1997) Incentives in Basic Research // Journal of Labour Economics. Vol. 15. № 1. Part 2: Essays in Honor of Yoram Ben-Porath. P. S167-S197.
Li D., Agha L. (2015) Big names or big ideas: Do peer-review panels select the best science proposals? // Science. № 348 (6233). P. 434-438.
Merton R.K. (1968) The Matthew Effect in Science // Science. Vol. 159 (3810). P. 56-63.
Mowery D. (1990) The Growth of U.S. Industrial Research. Berkeley, CA: University of California (mimeo).
Nelson R. (1959) The simple economics of basic scientific research // The Journal of Political Economy. Vol. 67. № 3. P. 297-306.
Park H., Lee J.J., Kim B.C. (2015) Project selection in NIH: A natural experiment from ARRA // Research Policy. Vol. 44. № 6. Р. 1145-1159.
Pavitt K. (1991) What makes basic research economically useful? // Research Policy. Vol. 20. № 2. Р. 109-119.
Smith R. (2006) Peer review: A flawed process at the heart of science and journals // Journal of the Royal Society of Medicine. Vol. 99. № 4. Р. 178-182.
