CC BY
59
Вестник Евразийской науки / The Eurasian Scientific Journal https://esj.todav 2019, №6, Том 11 / 2019, No 6, Vol 11 https://esj.today/issue-6-2019.html URL статьи: https://esj.today/PDF/70ECVN619.pdf Ссылка для цитирования этой статьи:
Чеченкина Т.В. О роли экспертизы в конкурсном отборе масштабных научных проектов // Вестник Евразийской науки, 2019 №6, https://esj.today/PDF/70ECVN619.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
For citation:
Chechenkina T.V. (2019). On the role of expertise in the selection of large-scale research projects for funding. The Eurasian Scientific Journal, [online] 6(11). Available at: https://esj.today/PDF/70ECVN619.pdf (in Russian)
Исследование выполнено при финансовой поддержке Минобрнауки России в рамках государственного задания № 28.13352.2019/13.1
УДК 338.28 ГРНТИ 06.54.31
Чеченкина Татьяна Валерьевна
ФГБУ «Российский научно-исследовательский институт экономики, политики и права
в научно-технической сфере», Москва, Россия Заведующая сектором мониторинга инфраструктуры науки
E-mail: chechenkina@riep.ru ORCID: http://orcid.org/0000-0001-7328-5578 РИНЦ: http://elibrary.ru/author profile.asp?id=610460
О роли экспертизы в конкурсном отборе масштабных научных проектов
Аннотация. Национальный проект «Наука», призванный сократить отставание Российской Федерации от мировых лидеров в научно-технологической сфере, предполагает реализацию масштабных проектов мирового уровня, обеспечивающих прорывы в области фундаментальных исследований. Крупномасштабные проекты, являются одним из важнейших двигателей современной передовой науки и свидетельством уровня научно-технологического развития страны. Когда речь идет о масштабных проектах мирового уровня, экспертные оценки не только подтверждают или опровергают целесообразность расходования бюджетных средств, но могут оказывать влияние на пути развития науки. Экспертиза фактически становится инструментом научно-технологической политики. В статье рассматривает факторы, влияющие на качество экспертизы научных проектов. Даются практические рекомендации по организации отбора специалистов в прорывных научных направлениях для проведения экспертизы научных проектов мирового уровня. Сложившаяся практика организации экспертизы неприменима для оценки проектов в прорывных направлениях. Новые научные направления часто не отражены в классификаторах, поэтому поиск экспертов следует вести не по предметным категориям в реестрах экспертов, а в базах данных о публикациях и патентах, по ключевым словам, выявленным в результате семантического анализа описания проекта. Оценка перспективности масштабных проектов мирового уровня невозможна без привлечения зарубежных экспертов. Существующие нормативные ограничения на сроки рассмотрения заявок не позволяют выбрать наиболее достойных российских и зарубежных экспертов и провести качественную экспертизу представленных на конкурс проектов. На основе анализа зарубежного опыта предложен регламент проведения экспертизы, предусматривающий двухэтапную процедуру конкурсного отбора масштабных научных проектов.
Ключевые слова: научно-технологическая политика; масштабные научные проекты; прорывные исследования; научно-технологическая экспертиза; реестр экспертов; экспертный пул; экспертная оценка; принятие решений
Стратегия научно-технологического развития Российской Федерации до 2035 года рассматривает фундаментальные исследования как инструмент долгосрочного развития страны, а поддержку фундаментальной науки в качестве первоочередной государственной задачи. В документе подчеркивается, что в России «имеется значительный потенциал в ряде областей фундаментальных научных исследований, что находит отражение в том числе в рамках совместных международных проектов, включая создание и использование уникальных научных установок класса «мегасайенс». Однако направления исследований и разработок в значительной степени соответствуют направлениям, актуальным для последних десятилетий прошлого века»1.
Основным инструментом, обеспечивающим сокращение отставания от мировых лидеров, на ближайшие 5 лет должен стать национальный проект «Наука». Перечень запланированных мероприятий демонстрирует готовность государства инвестировать значительные средства в обновление материальной базы исследований. В рамках нацпроекта предусмотрена реализация Федерального проекта «Развитие передовой инфраструктуры для проведения исследований и разработок в Российской Федерации». Задачи по созданию и модернизации объектов научной инфраструктуры - уникальных научных установок класса «мегасайенс», научно-исследовательских судов, селекционных центров и др. -рассматриваются в проекте в совокупности с задачами по их использованию. В частности, предусмотрено выполнение на российских научных установках не менее 5 масштабных научных проектов мирового уровня, обеспечивающих «прорывное» решение ключевых исследовательских задач в мировой научной повестке, получение новых фундаментальных знаний, необходимых для долгосрочного развития страны, в том числе для обеспечения готовности к большим вызовам, еще не проявившимся и не получившим широкого общественного признания. Реализация этих проектов запланирована на 2021-2020 гг., поэтому не позднее IV квартала 2020 года перечень этих проектов должен быть сформирован. К отбору проектов предполагается привлечь ведущих зарубежных экспертов, которые будут отобраны на основе экспертного и наукометрического анализа с участием Российской академии наук2.
Реализация масштабных проектов связана с большими финансовыми и организационными рисками. Это обусловливает необходимость тщательного отбора наиболее перспективных направлений исследований. Министерству науки и высшего образования Российской Федерации при содействии РАН необходимо не только разработать процедуру и критерии отбора проектов, поддержка которых обеспечит прорывные достижения в фундаментальной науке, но и определить российских и зарубежных экспертов, которые примут участие в экспертизе этих проектов.
Экспертиза играет важную роль в принятии управленческих решений в научно-технической сфере. Оценка исследовательских проектов экспертами в соответствующей
1 Указ Президента РФ от 01.12.2016 № 642 «О Стратегии научно-технологического развития Российской Федерации». - URL: http://kremlin.ru/acts/bank/41449 (дата обращения 02.12.2019).
2 Паспорт национального проекта «Наука» (утв. президиумом Совета при Президенте РФ по стратегическому развитию и национальным проектам, протокол от 24.12.2018 N 16. - URL: http://www.consultant. ru/document/cons_doc_LAW_319304/ (дата обращения 02.12.2019).
Страница 2 из 10
Введение
70ECVN619
области является основным методом отбора, который не может быть заменен количественными методами. Когда речь идет о крупномасштабных проектах, результаты экспертизы не только подтверждают или опровергают целесообразность расходования бюджетных средств, но фактически оказывают влияние на выбор путей развития науки.
Примером тому может служить история американского проекта по созданию Сверхпроводящего суперколлайдера (SSC). Если бы проект не был закрыт, вероятно, бозон Хиггса был бы обнаружен ранее и не в Европейской организации по ядерным исследованиям (CERN). Основная причина неудачи проекта SSC заключалась в финансовых проблемах, однако определенный вклад в принятие Конгрессом решения о прекращении строительства коллайдера на стадии 20%-ной готовности внесли эксперты - представители других физических дисциплин, которые возражали против перераспределения бюджета в пользу исследований в области физики высоких энергий [1]. Прекращение проекта фактически положило конец мировому лидерству США в этой сфере [2].
Учитывая значимость экспертных оценок для принятия решений по государственной поддержке масштабных научных проектов, заказчик должен использовать такие процедуры подбора экспертов и регламент проведения экспертизы, которые обеспечат наибольшую объективность оценок. В настоящей статье на основе анализа российского и зарубежного опыта предложены меры по повышению качества экспертизы заявок на финансирование масштабных научных проектов за счет бюджетных средств.
Обсуждение
По мнению группы представителей европейских университетов, ни одна из существующих систем экспертной оценки в научном сообществе не может удовлетворить запросы всех заинтересованных сторон [3]. Национальный научный фонд США профинансировал 4-х-летний проект, в рамках которого изучались процедуры экспертной оценки в государственных ведомствах США, ЕС и Канады. Исследование показало, что каждое ведомство уникально и что даже внутри одного ведомства могут существовать значительные различия между экспертными процедурами [4]. Тем не менее, базовые подходы к экспертной оценке являются общими.
Проанализировав материалы, представленные разработчиками проекта, эксперты должны подготовить заключение с оценкой:
• научной новизны;
• потенциала использования результатов проекта;
• соотношения требуемых затрат и ожидаемых результатов;
• соответствия объема необходимых ресурсов для выполнения проекта их наличию у исполнителя;
• сроков реализации проекта и их реалистичности;
• факторов риска; а также;
• последствий реализации научно-технического проекта для науки, природы, общества [5].
Российским экспертам проектов, финансируемых за счет средств федерального бюджета, могут быть также заданы вопросы о соответствии государственным приоритетам научно-технологического развития и о вкладе в достижение целевых показателей национальных программ и проектов.
В российской практике написания конкурсных заявок не принято уделять надлежащего внимания характеристике рисков. В большинстве случаев прогнозирование рисков сводится к опасениям (вполне оправданным), что бюджетные средства на выполнение проекта не будут выделены вовремя. Прочие негативные варианты развития событий либо замалчиваются, либо упускаются из виду. В этом случае роль экспертов возрастает многократно. Помимо рисков недостижения целей, обусловленных «внутренними» факторами (например, отсутствием высококвалифицированных научных и управленческих кадров), экспертная оценка должна включать прогноз политических и социальных факторов, возможных альтернативных научно-технологических решений и их влияния на рассматриваемый проект в долгосрочной перспективе. Такая задача требует высокого уровня квалификации в области экспертной оценки, к которой относится объект экспертизы, и широкого кругозора. Поэтому важнейшим этапом является отбор экспертов.
Экспертиза научно-исследовательских работ и научно-технических проектов является распространенной практикой в российской науке. К экспертному мнению при принятии решений о финансовой поддержке или оценке полученных научных результатов обращаются государственные и частные научные фонды, органы исполнительной власти и другие распорядители средств.
Наиболее представительным корпусом экспертов обладает Российская академия наук. Реестр экспертов РАН насчитывает 7265 человек, включая сотрудников академических институтов, вузов и НИИ различной ведомственной принадлежности, а также 56 зарубежных ученых3.
В помощь федеральным и региональным распорядителям средств, являющимся заказчиками научно-технических программ и проектов, сформирован Федеральный реестр экспертов научно-технической сферы, оператором которого является Республиканский исследовательский научно-консультационный центр экспертизы (далее - реестр РИНКЦЭ). В настоящее время в реестре РИНКЦЭ содержатся сведения о 4537 аккредитованных ученых и специалистах, выразивших готовность к участию в экспертно-аналитической деятельности4.
Более 5000 российских и 1000 зарубежных ученых включают базы экспертов Российского научного фонда5 и Российского фонда фундаментальных исследований6.
Более 3000 человек содержится в утверждаемых Минобрнауки списках экспертов по приоритетным направлениям науки и технологий. Эти специалисты привлекаются к оценке проектов в рамках Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России» [6].
Примером самоорганизованного экспертного сообщества является «Корпус экспертов по естественным наукам» (КЭ). Начавшийся в 2007 г. с формирования пула экспертов в области физики, в настоящее время КЭ охватывает широкий спектр естественнонаучных дисциплин7. К середине 2019 г. база данных проекта насчитывала 10703 человека с высокими индексами цитирования по данным Web of Science [7].
3 http://www.ras.ru/expertsupport.aspx.
4 https://reestr.extech.ru/experty/index.php.
5 http://www.rscf.ru/fondfiles/documents/rsf_ar2018.pdf.
6 https://www.rfbr.ru/rffi/ru/rffi contest results/o 2081432.
7 http://expertcorps.ru/science/about.
В различных структурах предусмотрены различные процедуры выдвижения кандидатов в эксперты, в том числе:
• по рекомендации администрации или ученого совета организации;
• по рекомендации ученых, обладающих определенным статусом;
• по приглашению оператора реестра, который рассылает приглашения кандидатам с высокой публикационной, патентной, грантовой активностью;
• самовыдвижение.
В большинстве случаев8, информация, необходимая для принятия решения о включении кандидата в базу (реестр) экспертов содержит следующие позиции.
1. Личная характеристика:
• базовое и дополнительное образование;
• степень, звание;
• стаж работы по специальности;
• наличие знаков отличия (награды, премии, грамоты).
2. Публикационная активность.
3. Патентная активность.
4. Коммуникационная активность (участие в научных и профессиональных сообществах, в научных мероприятиях, в зарубежных научных программах).
5. Экспертная активность.
Для экспертов, осуществляющих оценку проектов в области фундаментальных исследований, публикационная активность является важнейшей характеристикой.
Оценка компетенций кандидатов в Реестр экспертов РАН осуществляется на основе:
• числа публикаций;
• числа цитирований;
• значений индексов.
Исследователь также представляет сведения об основных публикациях за последние 10
лет.
Для аккредитации в реестре РИНКЦЭ необходимо указать:
• общее количество зарубежных публикаций и за последние 3 года;
• общее количество российских публикаций и за последние 3 года;
• 3-5 наиболее значимых зарубежных публикаций;
• 3-5 наиболее значимых российских публикаций;
• количество цитирований по РИНЦ;
• индекс Хирша.
8 За исключением «Корпуса экспертов», с методикой которого можно ознакомиться здесь: http://expertcorps.ru/science/methods.html.
Списки «Корпуса экспертов» включают тех, у кого суммарное цитирование всех публикаций превышает 1000 и/или суммарное цитирование работ, опубликованных за последние 7 лет, превышает 100.
В процессе формирования баз экспертов обнаружилось, что показатели публикационной активности несопоставимы не только между дисциплинами, но и в разных разделах одного научного направления. Поэтому устанавливая единые (высокие) пороговые значения можно отсечь квалифицированных экспертов в определенных областях. Эта проблема особенно актуальна для экспертизы проектов по «прорывным» направлениям исследований: если публикации эксперта относятся к малоизученной области, количество цитирований будет заведомо небольшим.
Из этого следует вывод, что оценка экспертов по наукометрическим критериям должна осуществляться с учетом их специализации.
К примеру, для экспертов, представляющих технические и естественные науки, можно дополнительно учитывать публикации в журналах, индексируемых в признанных международных системах цитирования: Astrophysics, Mathematics, GeoRef, MathSciNet, Compendex, CiteSeerX, Chemical Abstracts, BioOne. (Данные библиографические базы ВАК относит к признанным международным системам цитирования [8]). Для естественных, медицинских и сельскохозяйственных наук этот перечень должен включать реферативные базы Agris, PubMed, BioOne, Chemical Abstracts. У представителей социально-гуманитарных дисциплин индекс Хирша значительно ниже, чем у представителей технических и естественных наук [9]. При формировании реестра экспертов в области сельскохозяйственных наук более показательным является показатель патентной активности, чем публикационной. Для юристов - участие в законопроектной и экспертно-аналитической работе.
Ряд проблем, связанных с экспертизой «прорывных» исследований обусловлен тем, что число экспертов в них мало.
В первую очередь, это затрудняет исключение конфликта интересов. При подборе экспертов из реестра РИНКЦЭ поиск осуществляется с учетом того, что профиль эксперта не должен содержать определенные места работы и учебы. В реестре РАН конфликт интересов рассматривается более широко: эксперты не могут оценивать результаты исследований своей организации; исследований, в которых они участвовали; иметь общие экономические интересы, родственные связи, конфликты с авторами объекта экспертизы и т. д. Однако, исключение из пула экспертов всех, кто потенциально может проявить пристрастность или предубеждённость в отношении объекта экспертизы, еще сильнее сужает выбор.
Выделение значительных бюджетных средств на масштабный проект в новой области исследований с большой степенью вероятности лишает другие команды инвестиций для реализации проектов в смежных дисциплинах. Но исключение ведущих специалистов, даже если они заведомо критически настроены к проекту, было бы ошибкой, поскольку именно конкуренты способны провести более тщательную экспертизу и увидеть узкие места. На наш взгляд, у экспертов стоит запрашивать не заявление об отсутствии конфликта интересов, а заявление об обоснованности экспертных заключений даже при наличии конфликта интересов.
Еще одна проблема состоит в сложности отбора экспертов в заданной области, если эта область связана с прорывными исследованиями. Во всех перечисленных базах используются классификаторы научных направлений, на основании которых проводится поиск. Однако для многих прорывных направлений сделать это затруднительно. К примеру, список предметных категорий Web of Science для одного автора работ в области биолюминисценции включает биофизику, биохимическую молекулярную биологию, химию мультидисциплинарную, а для другого - иммунологию, биологию клетки, гематологию, микробиологию, химическую физику.
Поскольку в рассматриваемом случае речь идет не о потоке заданий на экспертизу, а о единичных масштабных проектах, вероятно, имеет смысл отказаться от использования классификаторов в пользу поиска по ключевым словам. Для этого следует провести семантический анализ конкурсной заявки и провести поиск словосочетаний, характеризующих область исследований, в базах данных о публикациях и патентах (Web of Science, Orbit Patent Search и т. п.). Современные инструменты позволяют выделить по этому признаку наиболее активных авторов и организации. В открытых источниках можно найти информацию об участии специалиста в подготовке, реализации или оценке крупномасштабных проектов или технологическом форсайте, поскольку такой опыт также важен для решения поставленной задачи.
Привлечение зарубежных экспертов к отбору масштабных научных проектов предусмотрено в паспорте нацпроекта «Наука». Очевидно, что поиск иностранных экспертов по теме заявки, получение согласия, заключение договора и проведение качественной экспертизы требует более 30 календарных дней, отводимых на подведение итогов конкурса.
Для обеспечения экспертизы с участием ведущих зарубежных экспертов более подходит двухэтапная конкурсная процедура. Подобная процедура применяется, в частности, при отборе проектов рамочных программ Европейского Союза по развитию научных исследований и технологий. На первый этап конкурса заявителя представляют только краткое описание проекта и объем запрашиваемых средств. С помощью балльной системы эксперты оценивают значимость проекта9. Из проектов, получивших наибольшее количество баллов, формируется «short-list» - перечень проектов, допущенных ко второму этапу10. Участники второго этапа отбора получают месяц на сбор полного комплекта документов и подготовку расширенной заявки на русском и английском языках. На основании анализа аннотаций, полученных на первом этапе, заказчик в течение этого времени осуществляет поиск ведущих российских и зарубежных специалистов, наилучшим образом соответствующих тематике проектов; направляет им приглашения; заключает соглашения с экспертами, давшими согласие на проведение экспертизы.
В европейской практике реализации крупных программ (например, «Горизонт 2020») перед началом работы принято приглашать экспертов в Брюссель для очного инструктажа, на котором разъясняют алгоритм проведения экспертизы и механизмы оценки. В рамках тренинга эксперты проводят анализ условного проекта, демонстрируя полученные навыки. Заказчик имеет возможность убедиться в правильной интерпретации предложенных им критериев оценки [10]. Для крупномасштабных проектов «установочный этап» чрезвычайно полезен. При оценке дорогостоящих проектов эксперты могут демонстрировать склонность к консерватизму и отсекать наиболее новаторские исследования. Заказчик может сориентировать экспертов, готов ли он финансировать высокорисковые проекты. В современных условиях подобный инструктаж удобно проводить в форме вебинара, в процессе которого эксперты могут задать уточняющие вопросы.
При экспертизе масштабных проектов эксперты также должны иметь возможность задать уточняющие вопросы заявителям или запросить дополнительную информацию. Когда речь идет об исследованиях на прорывных направлениях науки, нецелесообразно отсеивать проекты из-за технических ошибок или недопонимания.
9 В случае отбора масштабных проектов логично пригласить экспертов из реестра РАН, поскольку участие РАН в отборе зафиксировано в паспорте национальном проекта «Наука».
10 В европейских рамочных программах пороговые значения по сумме баллов обычно устанавливаются на таком уровне, чтобы объём средств, необходимых для финансирования попавших в short-list проектов приблизительно в 3 раза превышал предусмотренный бюджет.
Заключение
При оценке масштабных проектов, финансируемых из бюджетных средств, экспертиза фактически становится инструментом научно-технологической политики. Объективность и обоснованность экспертных оценок при конкурсном отборе масштабных проектов мирового уровня является необходимым условием достижения амбициозных целей, заявленных в национальном проекте «Наука». Выявление проектов, наилучшим образом обеспечивающих достижение научных и технологических целей государства, требует эффективных и прозрачных процедур, которым будет доверять научное сообщество.
Отбор крупномасштабных научных проектов предъявляет особые требования к качеству экспертизы. Наряду с ведущими учеными в команде необходимо присутствие экспертов с практическим опытом организации крупномасштабных проектов, а также экспертов с опытом разработки прогнозов и участников форсайт-исследований.
Оценка перспективности масштабных проектов в радикально новых направлениях невозможна без привлечения ведущих зарубежных экспертов. Эксперт должен иметь достаточно времени и информации для подготовки качественного экспертного заключения. С этой целью предлагается использовать зарубежный опыт двухэтапной оценки конкурсных заявок, который экономит время большого числа заявителей на подготовку объемных заявок и время экспертов на изучение этих заявок. Предложенная процедура позволяет провести более тщательный отбор экспертов и предоставить им больше времени для подготовки экспертных заключений.
ЛИТЕРАТУРА
1. Appel D. The Supercollider That Never Was // Scientific American. 15 October 2013. URL: https://www.scientificamerican.com/article/the-supercollider-that-never-was (дата обращения: 2.12.2019).
2. Riordan M. A bridge too far: The demise of the Superconducting Super Collider // Physics Today. Vol.69. - Issue 10. - P. 48. URL: https://doi.org/10.1063/PT3.3329 (дата обращения: 2.12.2019).
3. Бирюков А., Вейклинг Дж.Р., Бартолини К. и др. Альтернативное рецензирование: новые подходы к экспертной оценке // Научная периодика: проблемы и решения. - 2015. - Том 5. - № 1. - С. 15-34.
4. Abdoul H., Perrey C., Amiel P., et al. Peer review of grant applications: criteria used and qualitative study of reviewer practices // PLoS One. 28 September 2012. URL: https://doi.org/10.1371/journal.pone.0046054 (дата обращения: 2.12.2019).
5. Holbrook J.B., Frodeman R. Peer review and the ex ante assessment of societal impacts // Research Evaluation. - 2011. - 20(3). - Pp. 239-246.
6. Зеленцова Н.И., Петров А.Н., Гарина С.М., Тузова С.Ю. Об экспертном рассмотрении заявок на получение бюджетного финансирования в рамках ФЦП "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы" // Инновации. - 2012. -№ 2. URL: https://cyberleninka.ru/article/n/ob-ekspertnom-rassmotrenii-zayavok-na-poluchenie-byudzhetnogo-finansirovaniya-v-ramkah-ftsp-issledovaniya-i-razrabotki-po-prioritetnym (дата обращения 05.11.2019).
7. Фейгельман М., Цирлина Г. Почему «Корпус экспертов» объявил краудфандинг Троицкий вариант. № 282, 2 июля 2019. URL: https://trv-science.ru/2019/07/02/pochemu-expertcorps-objavil-crowdfunding (дата обращения: 2.12.2019).
8. Орлов А.И. Наукометрия и управление научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой. М.: ИПУ РАН, 2013. - С. 538-567.
9. Ваганов А. Науке противопоказан цинизм // Независимая газета. - 2 мая 2019. URL: URL: https://trv-science.ru/2019/07/02/pochemu-expertcorps-objavil-crowdfunding (дата обращения: 2.12.2019).
10. Тузова С.Ю., Миронова Я.С. Научно-техническая экспертиза как инструмент реализации государственной поддержки научно-технической деятельности // Власть. - 2018. - № 4. - С. 33-39.
Chechenkina Tatiana Valeriyevna
Russian research institute of economics, politics and law in science and technology, Moscow, Russia
E-mail: chechenkina@riep.ru
On the role of expertise in the selection of large-scale research projects for funding
Abstract. The Russian National Science project, designed to narrow the gap with the world leaders in science and technology, envisages the implementation of large-scale world-class projects that ensure breakthroughs in the field of basic research. Large-scale projects are the important drivers and evidence of the country's S&T development level. When it comes to world-class research projects, expert judgement does not only serve to confirm or deny the appropriateness of budget spending. It can also influence the way science develops. Expertise actually becomes a science and technology policy tool. The article discusses the factors affecting the quality of expertise of research projects. It provides practical recommendations for organizing the selection of experts in world-class research. The current practice of organizing expertise is not applicable for evaluating projects in breakthrough directions. Classification systems of existing registers of experts often do not take into account advanced research areas. It is supposed to conduct the search for experts not by research categories, but in databases of publications and patents by keywords identified as a result of semantic analysis of the project documentation. The assessment of large-scale world-class projects is impossible without the involvement of foreign experts. Existing procedures of applications evaluation do not allow to select the best Russian and foreign experts and to ensure high quality of projects evaluation. Based on the analysis of foreign experience, the procedure for evaluation is proposed, which envisages two-stage selection of large-scale scientific projects.
Keywords: science and technology policy; large-scale research projects; scientific breakthroughs; scientific and technical expertise; register of experts; expert pool; expert evaluation; decision-making
