Методический подход к оценке эффективности результатов научно-технических программ Текст научной статьи по специальности «Компьютерные и информационные науки»

Методы анализа

УДК 336.717

МЕТОДИЧЕСКИЙ ПОДХОД К ОЦЕНКЕ

ЭФФЕКТИВНОСТИ РЕЗУЛЬТАТОВ НАУЧНО-ТЕХНИЧЕСКИХ ПРОГРАММ*

А. В. РОЩИН,

доктор технических наук, профессор, заместитель директора Е-mail: roschin@chph. ras. ru

И. П. ТИХОНОВ,

кандидат технических наук, ведущий научный сотрудник Е-mail: 8tat@mail. ru Институт химической физики Российской академии наук

С. В. ПРОНИЧКИН,

кандидат технических наук, старший научный сотрудник Е-mail: pronichkin@mail. ru Институт системного анализа Российской академии наук

В статье рассмотрены важные этапы оценки эффективности результатов научно-технических программ. В качестве подхода к решению этой задачи предложено использовать методы экспертной оценки. Даны практические рекомендации по организации и проведению экспертизы результатов научно-технических программ, а также по обработке и анализу экспертных оценок.

Ключевые слова: результаты научно-технической деятельности, комплексная экспертиза результатов, критерии оценки, методы анализа результатов.

* Статья подготовлена при поддержке РГНФ (проект № 11-02-00236-а).

Научно-технические программы (НТ11) обеспечивают создание научной и научно-технической продукции и представляют собой совокупность научных и научно-технических проектов, объединенных общими целями и задачами, тематикой, сроками выполнения и механизмом финансирования. Государственные НТП являются важным средством реализации приоритетных направлений развития науки и техники путем концентрации научно-технического потенциала страны.

Сложные задачи формирования и поиска рациональных путей реализации результатов этих программ выдвигают на первый план необходимость оценки их результатов. Принципиально такая оценка должна включать частные задачи определения эффективности

результатов, составляющих программу фундаментальных, прикладных НИР и ОКР, а также методический аппарат, позволяющий получить обобщенные характеристики оценки результатов выполнения программы. В отечественной и зарубежной практике при решении таких сложных многоэтапных задач отдается предпочтение методам экспертной оценки.

Рассмотрим последовательно предлагаемый методический подход к поэтапному решению задачи оценки эффективности результатов НТП. Принципиальная схема, на которой показаны основные этапы решения этой задачи, представлена на рис. 1.

Оценка результатов выполнения НТП должна основываться на определении эффективности достижения ее главной цели (целей), отраженной в заданных целевых индикаторах, а также решения основных задач программы.

В качестве примера рассмотрим основные характеристики федеральной целевой программы «Развитие транспортной системы России (20102015 годы)» (рис. 2).

Разработка критериев оценки эффективности результатов программы основывается на анализе ее целей и задач [5, 7]. Как видно из представленного примера, для этого необходима достаточно сложная система критериев эффективности результатов, входящих в программу НИОКР.

Для экспертной оценки ожидаемой эффективности реализации мероприятий программы и востребованности результатов должна быть разработана система критериев социальной, экономической и государственной значимости результатов научно-технической деятельности, полученных при выполнении программы. Такая система включает несколько групп критериев, специфичных для той или иной программы. Вместе с тем имеется несколько групп критериев, учитывающих основополагающие принципы, цели и задачи программы, которые используются при оценке абсолютного большинства НТП. К их числу относятся следующие:

1) вклад результата в решение основных задач программы;

2) вклад результата в решение социальных проблем;

3) востребованность результата;

4) практическая реализуемость результата;

5) готовность потребителей к освоению результата.

Первая группа критериев «вклад результата в решение основных задач программы» учитывает непосредственный вклад результата в решение основных задач программы. Так, применительно к приведенному ранее примеру, т. е. для федеральной целевой программы «Развитие транспортной системы России (2010-2015 годы)», эта группа включает ряд критериев:

- вклад результата в развитие путей сообщения;

- вклад результата в строительство скоростных автомобильных и железнодорожных дорог;

- вклад результата в строительство единой дорожной сети круглогодичной доступности;

- вклад результата в развитие аэропортовой сети. Вторая группа критериев «вкладрезультата в

решение социальных проблем» дает оценку вклада результата программы в решение социальных проблем. В качестве примера можно привести следующие критерии этой группы:

- создание условий для повышения качества жизни, сохранения генофонда, снижения уровней смертности и заболеваемости населения;

- создание условий для сохранения и улучшения состояния окружающей среды;

- повышение уровня образованности и информированности населения по проблемам, связанным с выполнением программы.

Третья группа критериев «востребованность результата» позволяет получить оценку экономической значимости и востребованности результата программы. Сюда целесообразно включить следующие критерии:

- актуальность результата;

- уровень научно-технической значимости результата;

- уровень конкурентоспособности результата;

- возможный спрос на результат;

- экономическая эффективность результата;

- возможная сфера использования результата;

- возможный масштаб применения результата;

Рис. 1. Принципиальная схема оценки эффективности результатов НТП

в

а

Цели программы:

развитие современной и эффективной транспортной инфраструктуры, обеспечивающей ускорение товародвижения и снижение транспортных издержек в экономике; повышение доступности услуг транспортного комплекса для населения; повышение конкурентоспособности транспортной системы России и реализация транзитного потенциала страны;

повышение комплексной безопасности и устойчивости транспортной системы; улучшение инвестиционного климата и развитие рыночных отношений на транспорте.

Основные задачи:

развитие путей сообщения (автомобильные дороги общего пользования, железнодорожные линии, внутренние водные пути);

строительство скоростных автомобильных дорог и железнодорожных линий для организации скоростного пассажирского движения;

формирование единой дорожной сети круглогодичной доступности для населения; развитие аэропортовой сети (аэропорты-хабы, внутрироссийские узловые и местные аэропорты) и т.д.

Важнейшие целевые индикаторы программы на 2015 г.: транспортная подвижность населения Российской Федерации достигнет 8 616 км на 1 чел. в год;

объем экспорта транспортных услуг достигнет 23,4 млрд долл.;

прирост количества сельских населенных пунктов, обеспеченных постоянной

круглогодичной связью с сетью автомобильных дорог общего пользования по дорогам с

твердым покрытием, составит 2,3 тыс. ед.;

объем перевалки грузов в морских портах достигнет 774 млн т в год;

доля протяженности автомобильных дорог общего пользования федерального значения,

соответствующих нормативным требованиям, возрастет до 46,7%

Э

Рис. 2. Основные характеристики федеральной целевой программы «Развитие транспортной системы России (20102015 годы)»

Для оценки практической значимости результата программы предназначены четвертая и пятая группы критериев практическая «реализуемость результата» и «готовность потребителей к освоению результата». Четвертой группе присущи следующие критерии:

- степень готовности результата к освоению;

- возможность тиражирования результата;

- уровень правовой охраны результата;

- возможные сроки практической реализации результата.

Пятая группа включает следующие критерии:

- готовность производственной базы к освоению результата;

- готовность производственного персонала к освоению результата;

- готовность системы материально-технического обеспечения к освоению результата;

- наличие финансовых средств для освоения результата;

- наличие опыта освоения полученных результатов.

Характерной особенностью представленных критериев является использование нечисловых (вербаль-

ных) градаций на порядковых шкалах оценок. Так, критерий «уровень научно-технической значимости результата» имеет следующую шкалу оценок: - превосходит известные результаты по своей значимости;

соответствует известным результатам по своей значимости;

уступает известным результатам по своей значимости;

оценить значимость результата затруднительно. Разработанная система критериев является основой экспертной оценки отдельных результатов НИОКР программы. Главная цель комплексной экспертизы научно-технических результатов, полученных в ходе выполнения работ программы, -оценка соответствия полученных результатов целям программы.

Основными задачами экспертизы являются: оценка вклада результатов в решение основных задач программы;

оценка вклада результатов в решение социальных проблем, улучшение состояния окружающей среды, повышение уровня образованности населения;

всесторонний анализ и систематизация результатов по их востребованности и реализуемости на федеральном, региональном и объектовом уровнях управления.

Согласно опыту экспертной деятельности ведущих научных фондов страны (РФФИ, РГНФ) комплексная экспертиза научно-технических результатов должна основываться на следующих принципах [6, 8]:

- научной обоснованности экспертных оценок, их ориентации на мировой уровень развития науки и техники, норм, правил и требований государственных стандартов; независимости и правовой защищенности участников экспертизы, их компетентности и заинтересованности в качественном и своевременном выполнении экспертной оценки; системности организации экспертизы, единстве

ее нормативно-методологического обеспечения; - сохранении конфиденциальности информации, государственной, служебной и коммерческой тайны в соответствии с действующим законодательством Российской Федерации. Оценка ожидаемой эффективности реализации программы проводится по критериям социальной, экономической и государственной значимости полученных результатов, которые включают представленные ранее группы критериев.

В качестве примера рассмотрим отдельный фрагмент экспертной анкеты для многокритериальной оценки научно-технических результатов программы (рис. 3).

Объектами экспертизы являются научно-технические результаты, которые получены в ходе выполнения работ программы. Субъектами экспертизы являются физические лица, привлекаемые в качестве экспертов к проведению экспертизы из числа специалистов, которые работают в ведущих учреждениях Российской академии наук, высших учебных заведениях, отраслевых предприятиях и организациях, имеют высокую квалификацию и значительный опыт работы. Эксперты - авторы экспертных заключений пользуются в своей деятельности правами, предоставленными им действующим законодательством Российской Федерации.

Все участники экспертизы обязаны препятствовать несанкционированному использованию материалов экспертизы, передаче материалов экспертизы третьим лицам, разглашению конфиденциальной информации и сведений, составляющих государственную и коммерческую тайну.

Процедура комплексной экспертизы научно-технических результатов, полученных в ходе выполнения мероприятий программы, предусматривает индивидуальную работу экспертов по многокритериальной оценке результатов выполнения проектов,

<3

3

1. Вклад результата в решение основных задач программы:

11. Вклад результата в развитие путей сообщения:

110. Результат вносит существенный вклад в решение данной задачи программы.

111. Результат вносит определенный вклад в решение данной задачи программы.

112. Результат вносит некоторый вклад в решение данной задачи программы.

113. Результат не влияет на решение данной задачи программы.

12. Вклад результата в строительство скоростных автомобильных и железнодорожных дорог:

120. Результат вносит существенный вклад в решение данной задачи программы.

121. Результат вносит определенный вклад в решение данной задачи программы.

122. Результат вносит некоторый вклад в решение данной задачи программы.

123. Результат не влияет на решение данной задачи программы.

13. Вклад результата в строительство единой дорожной сети круглогодичной доступности:

130. Результат вносит существенный вклад в решение данной задачи программы.

131. Результат вносит определенный вклад в решение данной задачи программы.

132. Результат вносит некоторый вклад в решение данной задачи программы.

133. Результат не влияет на решение данной задачи программы.

14. Вклад результата в развитие аэропортовой сети:

140. Результат вносит существенный вклад в решение данной задачи программы.

141. Результат вносит определенный вклад в решение данной задачи программы.

142. Результат вносит некоторый вклад в решение данной задачи программы.

143. Результат не влияет на решение данной задачи программы

)

Рис. 3. Фрагмент экспертной анкеты для многокритериальной оценки научно-технических результатов программы

анализ итогов экспертизы по различным критериям с учетом их направленности на решение основных задач программы.

Для повышения обоснованности экспертной оценки каждый результат независимо оценивается несколькими (не менее чем двумя) экспертами. Эксперт изучает представленный ему объект экспертизы, оценивает полученный научно-технический результат по критериям, приведенным в экспертной анкете, а также дает свое письменное агрегированное заключение о значимости результата, которое служит основой для подготовки обобщенного экспертного заключения. Результатами экспертизы являются многокритериальная экспертная оценка научно-технического результата и письменное экспертное заключение.

Анализ итогов экспертизы и формирование обобщенного экспертного заключения проводятся специальной группой экспертов, создаваемой для этих целей управляющим органом программы.

Отбор экспертов - достаточно сложная задача, результат которой в значительной мере определяет эффективность экспертизы, адекватность используемого метода сбора и обработки суждений экспертов и в конечном итоге корректность принимаемых на базе экспертных заключений решений. Выбор экспертов предполагает ясное понимание ими критериев оценки результатов программы и цели комплексной экспертизы.

Отбор экспертов - сугубо не формализуемая задача. Определенную помощь в этом процессе может оказать сопоставление индивидуальных качеств кандидатов в эксперты критериям, которым должен обладать, по мнению психологов и специалистов по проведению экспертиз, идеальный эксперт. Это следующие личностные характеристики:

- креативность - способность творчески решать задачи, методы решения которых полностью или частично неизвестны;

- эвристичность - способность предвидеть возникновение или наличие не очевидных заранее проблем;

- интуиция - способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению;

- предикаторность - способность предсказывать, предчувствовать будущее состояние исследуемого объекта;

- независимость - способность противопоставлять предубеждениям и массовому мнению

свою точку зрения;

- всесторонность - способность видеть проблему с различных точек зрения.

Нетрудно видеть, что указанные критерии в известной мере не являются независимыми.

Важными требованиями к экспертам являются также уровень компетентности и грамотности в конкретно обозначенной области. При оценке уровня компетентности и грамотности эксперта целесообразно учитывать следующие данные:

- профиль и уровень образования;

- профиль деятельности (насколько тесная связь с обозначенной областью);

- опыт работы по профилю (учитывается стаж работы непосредственно в данной области и общий стаж работы);

- уровень решаемых экспертом проблем (соответствует ли занимаемая должность уровню и характеру обозначенной проблемы);

- наличие ранее выполненных экспертиз, сбывшихся прогнозов.

Основные факторы, влияющие на выбор экспертов с учетом специфики проводимых экспертиз в транспортной сфере, представлены в табл. 1.

Под цитируемостью эксперта понимается показатель, указывающий значимость опубликованных им статей и вычисляющийся на основе последующих публикаций, в которых есть ссылки на его работы. Цитируемость эксперта определяется на основе данных, представленных, например на портале eLIBRARY. RU (российский индекс научного цитирования). Возможно проведение оценивания экспертов на основе данных международных показателей Science Citation Index (SCI) и Journal Citation Reports (JCR), индекса компании Elsevier под названием Scopus или критерия Хирша (h-index) - наукометрического показателя, предложенный в 2005 г. американским физиком Хорхе Хиршем (университет Сан-Диего, Калифорния) в качестве альтернативы классическому индексу цитируемости, представляющему собой суммарное число ссылок на работы ученого. Критерий основан на учете числа публикаций исследователя и числа цитирований этих публикаций.

Полученные в итоге проведения комплексной экспертизы оценки позволяют с использованием простых статистических методов произвести классификацию результатов программы по основным критериям и на этой основе получить обобщенные итоговые характеристики выполнения НТП.

Таблица 1

Факторы оценки и отбора экспертов

Фактор оценки экспертов Обоснование целесообразности фактора для экспертизы Шкала оценки

Степень соответствия основно- Позволяет оценить квалификацию Несоответствие профессионального образования

го образования и основной профессиональной деятельности эксперта тематике экспертизы. Соответствие профильного образования

эксперта тематике проводимой экспертизы тематике экспертизы. Соответствие профильного образования тематике экспертизы, прохождение повышения квалификации или стажировок по данной тематике за последние пять лет

Ученая степень Позволяет оценить владение пред- Отсутствие ученой степени.

метной областью, способность к Наличие кандидатской степени.

анализу и самоорганизации Наличие докторской степени

Ученое звание Позволяет оценить квалификацию Отсутствие ученого звания.

эксперта Доцент. Профессор. Член-корреспондент. Академик

Должность Позволяет оценить степень охвата Специалист (инженер).

проблем в предметной области, Старший специалист (инженер).

возможность системного подхода к Начальник отдела.

оценке и анализу проблем Начальник управления (департамента). Заместитель директора. Директор

Стаж работы (по направлению Позволяет оценить опыт работы 0-5 лет.

основной профессиональной по данному направлению деятель- 5-10 лет.

деятельности) ности 10-15 лет. 15-20 лет. Более 20 лет

Количество публикаций (по Позволяет оценить актуальность 1-10.

направлению основной профессиональной деятельности) деятельности эксперта 10-20. 20-50. 50-100. Более 100

Цитируемость эксперта Позволяет оценить уровень Затрудняюсь ответить.

проработки проблем предметной области и актуальность деятель- Отсутствие цитируемости. 1-5.

ности эксперта 5-10. Более 10

Качество проведенной экспер- Позволяет оценить качество прове- Низкое.

тизы (оценивается заказчиком денной экспертизы заказчиком Среднее.

экспертизы) Высокое

Количество сформированных Позволяет оценить опыт эксперт- Отсутствие сформированных экспертных заклю-

экспертных заключений ной работы, степень вовлеченнос- чений.

ти эксперта в тематику и проблема- 1-5.

тику проводимых экспертиз 5-10. 10-15. 15-20. Более 20

Квалификация эксперта (нали- Позволяет оценить признанность Эксперт международного уровня.

чие статуса эксперта между- эксперта в профессиональном Эксперт всероссийского уровня

народного или всероссийского сообществе

уровня)

Полученное после обработки данных экспертизы распределение результатов программы по степени готовности к освоению представлено в табл. 2 и на рис. 4).

Таким образом, около четверти всех результатов программы признаются экспертами готовыми к освоению, около трети - нужна незначительная доработка, остальные - далеки от освоения.

Таблица 2

Степень готовности результата к освоению

Оценка результата (шифр) N доля

Результат полностью готов к освоению (410) 0,24

Требуется незначительная дополнительная работа для подготовки результата к освоению (411) 0,30

Требуется значительная дополнительная работа для подготовки результата к освоению (412) 0,46

Оценить готовность результата к освоению затруднительно (413) 0,00

N

Рис. 4. Степень готовности результата к освоению

Итоговые характеристики

Обобщив и проанализировав все полученные по основным критериям характеристики, можно получить сводную (итоговую) оценку эффективности результатов программы. Пример такого сводного анализа приведен в табл. 3.

Таким образом, полученные в результате анализа данные позволяют сделать следующий основной вывод: востребованность результатов завершенных работ программы достаточно высокая, а перспективы их реализации невысоки.

Следующим этапом после анализа результатов комплексной экспертизы НИОКР НТП является выбор метода обобщенной оценки результатов НИОКР НТП.

Подавляющее большинство применяемых методологий экспертной оценки объектов различной природы, в том числе проектов и полученных результатов, использует так называемый количественный подход, основанный на числовом измерении показателей, которыми характеризуются объекты. Несмотря на кажущуюся простоту и очевидность, количественный подход мало пригоден для работы с качественными характеристиками, так как содержит целый ряд методологических дефектов. Укажем наиболее важные из них.

Практически невозможно априори назначить количественные шкалы оценок, соотнести качественные факторы с какими-либо числами так, чтобы они правильно и объективно выражали плохо формализуемые свойства объектов и одинаково понимались разными людьми.

При этом не существует никакой содержательной аргументации в пользу выбора той или иной градации шкалы числовых оценок (например использование шкал с градациями 1, 2, 3; 1, 3, 5, 7,

Таблица 3

енных результатов программы

Положительные Отрицательные

Характеристика Оценка Характеристика Оценка

Уровень научно-технической значимости и конкурентоспособности Соответствует и превосходит известные результаты (~ 80 %) Готовность результата к освоению Полная готовность (25-30 %)

Актуальность применения Высокая (> 80 %) Готовность производственной базы и персонала к освоению Требуется дополнительная работа(50-60 %)

Возможность тиражирования Высокая (> 80 %) Наличие финансовых средств освоения Отсутствуют (> 60 %)

Возможность использования во многих отраслях Высокая (> 70 %) Вклад в развитие комплексной безопасности и устойчивости транспортной системы Несущественный (20 %)

Сроки реализации До трех лет (60 %) - -

Возможный спрос Высокий (>70 %) - -

9; 1, 2,..., 9, 10 или другими). Более того, использование порядковых шкал, имеющих разные числовые значения, даже по одним и тем же критериям может привести к совершенно разным итоговым упорядочениям и разбиениям на классы исходной совокупности объектов. Тем самым, задавая произвольные градации оценок на шкалах, можно получить любую заданную ранжировку и любую классификацию многопризнаковых объектов.

При использовании шкал числовых оценок появляется искушение сформулировать один простой и понятный итоговый показатель, агрегирующий частные оценки (который обычно задается в виде суммы, взвешенной суммы или некоторой усредненной оценки), по величине которого и проводится сравнение объектов. В этом случае происходит смешение разнородных показателей, важных и неважных факторов, оценок разных экспертов, что делает невозможным выделение наиболее значимых для выбора показателей и увеличивает возможность присвоения содержательно незначительным объектам достаточно высоких итоговых оценок.

Вербальный анализ решений [1] - подход в теории и практике многокритериальной оценки и сравнения альтернатив, который разрабатывается в течение многих лет в Институте системного анализа РАН и успешно применяется при решении различных практических задач. Особенностью этих задач является описание рассматриваемых объектов (вариантов, альтернатив) при помощи многих признаков, наличие среди признаков как количественных, так и качественных факторов, причем последние играют в процессе оценки не меньшую роль, чем первые. Степень достижения требуемой величины показателя качества, описываемого как качественный признак, измеряется критерием с вербальной, как правило порядковой, шкалой.

В вербальном анализе решений численные коэффициенты важности критериев и численные значения ценности вариантов не рассчитываются, а качественные оценки признаков не преобразуются в какие-либо числовые показатели. Даже при небольшом числе градаций оценок на шкалах критериев оказывается возможным описать достаточно сложные свойства объектов. Тем самым, используя только качественные измерения, на множестве кортежей многокритериальных оценок можно задать отношения превосходства и эквивалентности вариантов решения, с помощью которых осуществляются их порядковая классификация, частичное

упорядочение или выделение лучшего варианта. Полученные итоговые результаты решения или решающие правила описываются с помощью вербальных признаков (оценок по критериям), что позволяет дать их объяснение на привычном для человека языке.

В последние годы в Институте системного анализа РАН активно разрабатываются методы группового вербального анализа решений, основанные на использовании нового математического аппарата -. теории мультимножеств. Методы группового вербального анализа решений дают возможность при решении задач коллективного выбора одновременно учитывать различные интересы многих участников, разнообразие и несовпадение их целей и способов выражения их предпочтений. Эти методы позволяют оперировать качественной информацией без ее преобразования в числовую форму и методологически наиболее пригодны для представления экспертных оценок, обработки и анализа результатов экспертизы научно-технических результатов программы.

Методы группового вербального анализа решений с успехом использовались в Российском фонде фундаментальных исследований и Российском гуманитарном научном фонде при анализе итогов конкурсного отбора проектов, представленных на соискание грантов фондов, при оценке перспективности практического применения результатов проектов, выполненных по грантам фондов [3], а также при решении других задач.

Именно этот подход - групповой вербальный анализ решений с применением аппарата теории мультимножеств - предлагается в качестве инструментария для анализа многокритериальной оценки научно-технических результатов.

Обработка экспертных оценок проводится с использованием метода упорядочения объектов, которые оценены несколькими экспертами по многим критериям АРАМИС (агрегирование и ранжирование альтернатив относительно многопризнаковых идеальных ситуаций) [2]. Были построены ранжировки результатов программы по каждой группе критериев и всем критериям в целом.

В дальнейшем представляется целесообразным построение иерархической системы составных (обобщенных) критериев для каждой группы критериев и интегрального показателя качества результата научно-технических результатов программы с использованием метода ПАКС (последовательное агрегирование классифицируемых состояний) [4].

Список литературы

1. Ларичев О. И. Вербальный анализ решений / под ред. А. Б. Петровского. М.: Наука, 2006.

2. Петровский А. Б. Теория принятия решений. М.: Академия, 2009.

3. Петровский А. Б., Тихонов И. П. Фундаментальные исследования, ориентированные на практический результат: подходы к оценке эффективности. М.: РФФИ, 2009.

4. Петровский А. Б., Ройзензон Г. В. Многокритериальный выбор с уменьшением размерности пространства признаков: многоэтапная технология ПАКС // Искусственный интеллект и принятие решений. 2010. № 4.

5. Тихонов И. П., Хрусталёв Е. Ю., Яковлев Э. Н. Коммерциализация результатов фундаментальных

научных исследований (опыт Российского фонда фундаментальных исследований) // Инновации. 2007. № 10.

6. Хрусталёв Е. Ю., Жилякова Е. В. Инструментарий экспертизы инициативных научных исследований (на примере конкурсов РГНФ) // Концепции. 2008. № 2.

7. Хрусталёв Е. Ю., Ил ьменская Е. М. Эксперт-но-аналитический анализ и методы стимулирования фундаментальных и прикладных научных исследований // Аудит и финансовый анализ. 2012. № 2.

8. Цыганов С. А., Рудцкая Е. Р., ХрусталёвЕ. Ю. Совершенствование конкурсных механизмов поддержки и финансирования научной, научно-технической и инновационной деятельности // Национальные интересы: приоритеты и безопасность. 2012. № 11.