Разработка методики параметрической оценки научных и инновационных проектов Текст научной статьи по специальности «Экономика и бизнес»

УДК 519.876, 338.28

РАЗРАБОТКА МЕТОДИКИ ПАРАМЕТРИЧЕСКОЙ ОЦЕНКИ НАУЧНЫХ И ИННОВАЦИОННЫХ ПРОЕКТОВ

© 2015 Д. А. Переведенцев

аспирант кафедры «Информационные системы» e-mail: [email protected]

Ижевский государственный технический университет им. М.Т. Калашникова

В статье представлена методика многокритериальной оценки научных и инновационных проектов, основанная на сокращении размерности параметрического пространства проекта через коэффициенты, полученные методом экспертного опроса, и агрегировании параметров в небольшое число критериев. Отличительной чертой предлагаемого решения является относительно простая и гибкая в использовании комплексная методика оценки перспективности научного проекта, способствующая развитию и совершенствованию управления его научным потенциалом в соответствии с постоянно изменяющимися внешними и внутренними условиями.

Ключевые слова: многокритериальная оценка, оценка научных проектов,

многомерный анализ, агрегированные критерии, параметры оценки проекта.

Решению задачи многокритериального принятия решений — выделения лучших вариантов, ранжирования и классификации альтернатив, характеризующихся необходимостью сравнивать объекты с разнообразными признаками: научными, техническими, экономическими, эксплуатационными и иными, сегодня посвящено много научных работ, но в основе своей все они сводятся к непосредственной классификации или сравнению альтернатив, описываемых балльным числом нескольких довольно односторонних признаков, и в особенности качественных, что не только является трудоемкой процедурой, но и существенно затрудняет применение на практике такого метода принятия решений. Поэтому задачей данной статьи ставится рассмотрение наиболее применяемых на сегодняшний день методик и предложение альтернативного варианта оценки научных проектов.

Как правило, указанная проблема эффективно решается путем привлечения компетентных экспертов из различных сфер деятельности, что может быть эффективно осуществлено только на последней стадии рассмотрения проектов, когда их число ограничено несколько десятками. Ярким примером такого подхода является экспертиза научных проектов по приоритетным программам Немецкого научноисследовательского сообщества (DFG) [Хохлов 2014]. Однако такой подход к оценке значительно ограничивает количество просмотренных проектов временем работы этой группы, а на определенной стадии может снизиться и качество работы эксперта.

Другой наиболее распространенной на сегодня методикой оценки

результативности научной деятельности являются наукометрические показатели, основные из которых: индекс цитирования, индекс Хирша, импакт-фактор журнала. Однако в Постановлении № 62 ОИФН РАН 2013 г., в рамках проекта разработки закона «О Российской академии наук, реорганизации государственных академий и внесении изменений в отдельные законодательные акты Российской Федерации», констатируется, что использование наукометрических показателей не может служить основой для адекватного определения значимости и качества исследований, выполняемых в институтах гуманитарного профиля, поскольку они не учитывают специфику гуманитарной науки и особых форм представления результатов

ТЕХНИЧЕСКИЕ НАУКИ

исследований в этой области. Во многом это относится и к исследованиям в технических областях.

Из анализа методов отдельных научных фондов, освещенных в научной литературе, заметно их акцентирование на определенной стадии реализации научного проекта или сфере их рассмотрения.

В частности, разрешению проблемы многокритериального подхода к оценке проектов посвящено исследование процесса отбора фундаментальных работ Российским фондом фундаментальных исследований (РФФИ) [Петровский 2009]. Данный подход также лишь рассматривает способ построения интегрального показателя результативности фундаментальных проектов, что ограничивает его применение для оценки научных проектов, находящихся на других стадиях реализации.

В другом исследовании, также посвященном описанию оценки научных проектов РФФИ [Прокопов 2009], оценка сводится лишь к расчету индивидуального рейтинга проекта, складывающегося из балльной оценки научной ценности проекта, реальности выполнения проекта в срок и показателя, корректирующего первые два.

Когда же встает задача сравнения множества объектов (десятки и сотни), различных по своей структуре и результатам использования, а их признаки многочисленны и различны по значениям, такие объекты, как правило, оказываются формально не сравнимыми. Примером подобной задачи и служит оценка практической и инвестиционной привлекательности научных проектов.

В этих случаях для принятия обоснованных управленческих решений необходима комплексная оценка проекта, которая должна учитывать и интересы руководителя проекта, и интересы инвесторов на основе оценки целесообразности поддержки определенного научного коллектива, и интересы предприятий и научных учреждений, и не только эффективность инвестиций, но и значимость реализации конкретного проекта. Требуется всесторонняя оценка

эффективности альтернативных инвестиционных проектов, которая предполагает определение преимуществ того или иного проекта не по одному критерию, а по совокупности критериев.

Решением указанной проблемы может стать разработка специальной методики, реализующей анкетный подход к сбору данных по проектам. При этом анкета должна быть построена таким образом, чтобы каждый проект одновременно получал комплексную объективную оценку и не занимал много времени на ее заполнение и анализ, что вполне возможно реализовать на основе применения методологии многоцелевой оптимизации, технологий многомерного анализа и вероятностных моделей.

На основе анализа большого количества научных и инновационных проектов различного уровня и стадии реализации автором была составлена анкета, отражающая характеристики как руководителей проекта и его исполнителей, так и самого проекта: научно-исследовательские, коммерческую проработанность, производственные и экономические, перспективность, риски и уровень кооперации. Анкета содержит 60 пунктов, непосредственно для оценки проекта используются данные по 48 пунктам, остальные - для отбора проектов из собранной базы данных и анализа их структуры.

Анализ проекта по разработанной анкете позволяет не только оценить его, но и определить степень его готовности к коммерциализации и виды возможных продуктов. На основе данной информации создается пакет проектов научной организации или предприятия для участия в определенном конкурсе, грантах, тендерах и др. либо презентации инвестору.

Auditorium: электронный научный журнал Курского государственного университета. 2015. № 3 (07)

Переведенцев Д. А. Разработка методики параметрической оценки

научных и инновационных проектов

Описанный функционал на сегодняшний день реализуется в разрабатываемой информационно-аналитической системе (ИАС) для анализа и управления научными проектами наукоориентированных организаций и предприятий [Переведенцев 2015].

В рамках данной статьи подробнее остановимся на алгоритме параметрической оценки проектов, который является основой аналитического модуля проектируемой ИАС.

Анализ частоты упоминания того или иного критерия в более чем 50 крупных отечественных и зарубежных фондах поддержки научных и инновационных проектов (таких как РФФИ, РНФ, РГНФ, Фонд содействия отечественной науке, Фонд Сколково, Американский фонд гражданских исследований и развития, Фонд Карнеги, Фонд Мотта и др.), а также в конкурсах, проводимых различными организациями (UniverStartUp 2014, Intellect2All, конкурс молодежных проектов Росмолодежь, конкурсы Совета по грантам Президента РФ и Министерства экономики РФ и др.), позволил составить обобщенный список критериев оценки научных и инновационных проектов и требований к проектам (табл. 1).

Критерии оценки научных и инновационных проектов

Таблица 1

Обозначение Критерии Частота упоминания, %

K1 Актуальность проекта 72

K2 Профессиональный уровень руководителя проекта 83

K3 Соответствие тематики проекта направлениям деятельности и условиям инвестора, фонда (грандодателя) 56

K4 Обоснованность бюджета 92

K5 Перспективность проекта (соответствие приоритетному направление развития науки и технологий РФ и т.п.) 35

K6 Значимость результатов 82

K7 Направленность и качество организации проекта 64

K8 Наличие необходимых ресурсов для выполнения проекта (трудовых, финансовых и др.) 88

K9 Научный потенциал заявляемого коллектива 95

K10 Потенциал привлечения инвесторов, компаний для софинансирования 40

K11 Рыночный потенциал и реализуемость проекта 55

K12 Масштабность проекта 40

Таким образом, в список критериев попали как научные критерии, так и критерии оценки бизнес-проектов. Это является логичным, поскольку

фундаментальный научный проект при его тщательной проработке и продвижении рано или поздно становится основой одного или нескольких научно-прикладных проектов, которые, в свою очередь, на стадии коммерциализации приобретают черты бизнес-проектов. Такой подход к оценке структуры проектов позволил сформировать факторы состояния проекта (табл. 2).

ТЕХНИЧЕСКИЕ НАУКИ

Факторы, отражающие состояние проекта

Таблица 2

Обозначение Факторы

F1 Руководитель проекта обладает соответствующими профессиональными навыками и опытом ведения подобных проектов

F2 По проекту имеются публикации, научный задел и интеллектуальная собственность

F3 Проект обеспечен всеми необходимыми ресурсами

F4 Имеется адекватная оценка условий, в которых ведется проект, и четкий план его реализации

F5 Проект имеет высокую коммерческую проработанность

F6 Потенциальные результаты проекта является новыми для соответствующей научной дисциплины (продукт является новым для рынка)

F7 Результаты проекта могут быть использованы в других проектах (продукт может быть выведен на международный рынок)

F8 В реализации проекта и его результатах заинтересованы предприятия (государство, инвесторы)

Выделение таких факторов обусловлено целью снижения параметрического пространства проектов и агрегирования всех параметров, полученных на стадии анкетирования, в небольшое число показателей, которые, в свою очередь, тесно связаны с критериями оценки проектов.

Визуально принцип агрегирования анкетных параметров проекта и их связь с критериями оценки проектов показана на рисунке.

* указаны номера пунктов из анкеты, используемые для оценки соответствующего фактора, Рп параметр из анкеты руководителя, рп - параметр из анкеты проекта

Предлагаемая многоуровневая оценка проекта с ранжированием параметров и вводом коэффициентов на каждом уровне одновременно учитывает и взаимосвязи всех параметров, и степень влияния, соответствующую для каждого параметра, и исключает резкое изменение оценки проекта при изменении небольшого количества параметров или попытке необоснованно повысить оценку проекта.

Auditorium: электронный научный журнал Курского государственного университета. 2015. № 3 (07)

Переведенцев Д. А. Разработка методики параметрической оценки

научных и инновационных проектов

Задача выявления меры взаимосвязи факторов состояния проектов и критериев его оценки решалась путем проведения опроса экспертов. В качестве экспертов были отобраны специалисты соответствующих отделов научных организаций, непосредственно участвующие в процессе организации и управления научными и инновационными проектами: профессора и преподаватели кафедр экономики,

менеджмента и бизнес-информатики, а также руководители и специалисты бизнес-инкубатора.

Методика оценки состояния проекта заключается в анализе анкеты проекта, заполняемой его автором, и основана на суммировании баллов каждого параметра с учетом его весомости в соответствующей группе, полученной также из экспертного опроса:

Fi = Zi(ai*Pi),

(1)

где Fi - агрегированный фактор состояния проекта, ой - весомость значения соответствующего параметра, р - значение соответствующего параметра из анкеты.

Исходной информацией для определения значения р являются экспертные парные сравнения. Для каждой пары значений параметра эксперт оценивает преимущество одного значения над другим по отношению к свойству нечеткого множества, имеющего вид следующей матрицы:

Ui u2 un

Ui an ai2 ain

U2 a22 a22 a2n

Un Snl an2 Snn

(2)

где щ - уровень преимущества значения параметра щ над Uj, определенный по девятибалльной шкале Саати.

Тогда общую оценку состояния проекта Н с учетом полученных коэффициентов ой запишем так:

Н = FI + F2 + F3 + F4 + F5 + F6 + F7 + F8 = 0.07Р2+ 0.21Р5 +

0.1Р6 + 0.18Р8 + 0.15Рц + 0.25Pi3 + 0.04Pi4 + 0.15р6+ 0.07р7+0.07р8 +0.4р9 +0.2рю +0.3рп +0.1 Ipi2+0.4pi3 +0.21pi4 +0.25р45 +0.15pi6 +0.15р6

+0.21pi7 +0.04pi8 +0.25pi9 +0. lp2o +0.18p24 +0.21(0.07)p22 +0.04p23 (3)

+0. lp24 +0.2p25 +0. lp26 +0.18p27 +0.3p29 +0.25p30 +0.21p3i +0.07p32 +0.18p33 +0.15p34 +0.15p6 +0. lp35 +0.4p36 +0.3p37 +0. lp38 +0. lp39 +0.2p40 +0.25p4i +0.18p42 +0.04р4з +0.04p44 +0.21p4s +0. lp46

Далее покажем связь между факторами проекта и общими критериями его оценки потенциальными грантодателями и заказчиками, также с учетом коэффициентов влияния факторов проекта на критерии его оценки, полученные из экспертного опроса:

Ki = SSCXj*Fj),

(4)

где К; - значение критерия, xi - значение соответствующего коэффициента (табл. 3), F; - значение фактора состояния проекта.

ТЕХНИЧЕСКИЕ НАУКИ

Опрос, проведенный методом объединения индивидуального экспертного опроса и решающих матриц, дал следующие коэффициенты влияния факторов проекта на критерии его оценки (табл. 3).

Таблица 3

Коэффициенты влияния параметров проекта на критерии его оценки

Парам етр / критер ий К1 К2 К3 К4 К5 К6 К7 К8 К9 К10 К11 К12

F1 3,75 5,75 -0,38 3,63 1,75 0,13 4,13 4,13 4,38 5,63 4,75 2,13

F2 0,88 5,13 1,50 1,88 2,88 3,50 3,00 3,25 4,13 3,88 3,75 0,25

F3 3,13 3,63 -0,63 4,5 3,25 -0,13 2,63 6,88 3,00 5,00 5,88 2,38

F4 1,75 3,38 3,25 5,63 3,13 1,50 4,88 3,25 0,38 4,38 2,38 0,75

F5 3,63 3,00 2,75 5,63 4,75 3,25 4,88 1,75 2,25 6,25 4,50 3,25

F6 4,63 1,75 1,88 -0,25 3,13 4,13 3,13 0,75 3,00 2,63 1,88 3,25

F7 3,38 1,50 2,00 3,00 4,88 5,38 2,63 0,25 3,00 3,63 4,50 6,50

F8 7,38 1,63 3,00 3,00 6,75 5,00 2,63 3,25 2,13 5,75 7,63 2,50

В соответствии с общепринятой структуризацией научно-исследовательского процесса принято выделять стадии фундаментальных исследований (стадия W), прикладных исследований и разработок (стадия N), стадия продвижения и реализации научных и инновационных проектов (стадия B) как наиболее обобщенные характерные состояния процесса материализации результатов научных исследований.

В этом случае и модели расчета общей оценки проекта должны быть различны для разных типов проектов (фундаментальный, научно-прикладной и бизнес-проекты). Ранее мы обосновали, что структура параметров одинакова для всех проектов. Тогда данное различие должно быть основано на получении соответствующих каждому типу проектов коэффициентов весомости критериев, что, с учетом также полученных в ходе экспертного опроса коэффициентов, дает следующий результат:

W = £р(Pi *Ki) = 0.09K1 + 0.114K2 + 0.103K3 + 0.064K4 +

0.141K5 + 0.128K6 + 0.038K7 + 0.077K8 + 0.154K9 + 0.013K10 + (5)

0.026K11 + 0.051K12,

где W - оценка проекта по критериям для фундаментальных проектов, pi -коэффициент весомости соответствующего критерия, К - значение критерия.

N = Ц2( Pi *Ki) = 0,154K1 + 0,077K2 + 0,038K3 + 0,051K4 +

0,128K5 + 0,09K6 + 0,026K7 + 0,115K8 + 0,141K9 + 0,064K10 + (6)

0,103K11 + 0,013K12,

где N - оценка проекта по критериям для научно-прикладных проектов, pi -коэффициент весомости соответствующего критерия, К - значение критерия.

B = £р( Pi *Ki) = 0,09K1 + 0,077K2 + 0,026K3 + 0,103K4 +

0,064K5 + 0,038K6 + 0,013K7 + 0,128K8 + 0,051K9 + 0,141K10 + (7)

0,154K11 + 0,115K12,

Auditorium: электронный научный журнал Курского государственного университета. 2015. № 3 (07)

Переведенцев Д. А. Разработка методики параметрической оценки

научных и инновационных проектов

где B - оценка проекта по критериям для бизнес-проектов, р; - коэффициент весомости соответствующего критерия, К; - значение критерия.

Ранее мы уже определили, что значение критериев оценки проекта представляет собой показатель, отражающий взгляд на проект со стороны, а оценки агрегированных факторов состояния являются, в рамках данного подхода, объективной оценкой состояния проекта на определенный момент времени. Отсюда следует, что, сравнив данные показатели, мы получим относительное значение степени готовности конкретного проекта к коммерциализации, которая будет выражена следующим образом:

Q = (H / W)*100, (8)

Q = (H / N)*100, (9)

Q = (H / B)*100, (10)

где Q - относительная оценка степени готовности проекта к коммерциализации, выраженная в процентах, W, N, B - оценки проектов по критериям соответствующего типа, F; - агрегированные факторы состояния проекта.

Одним из основных недостатков описанной методики является то, что в типовых группах несколько проектов могут получить одинаковые оценки, что значительно затруднит выбор наиболее оптимального варианта. С целью решения указанной проблемы предлагается ввести в алгоритм оценки понятие вероятности соответствия проекта определенным требованиям заказчика путем рассмотрения неагрегированных факторов проектов.

Пусть требуется из множества V =и и и { 1 2 , , ..., n} вариантов проектов, показатели коммерциализуемости которых примерно одинаковы, выбрать наиболее целесообразный и* для реализации, а среди рассматриваемых вариантов нет выделяющегося «лидера». Идея алгоритма заключается в последовательном рассмотрении дополнительно к критериям проекта его факторов и подсчете для каждого проекта u£V средней апостериорной вероятности того, что этот проект является оптимальным. Работа продолжается до тех пор, пока средняя апостериорная вероятность одного из проектов иа множества V не будет существенно выше, чем для альтернативных проектов. При соблюдении некоторых условий на возможные исходы последующих рассмотрений факторов данный проект иа считается оптимальным. Результат рассмотрения каждого дополнительно фактора рассматривается как исход проведенного опыта и расчет апостериорной вероятности ведется по формуле Байеса [Вентцель 2010]:

P(H;/A(j))

P(A(j)/Hi)*P(HQ 2f=1P(A(j)/Hi)*P(Hi) ’ ’

(11)

где H; - предположение (гипотеза) о том, что вариант является оптимальным; A( j) - результат оценки (событие) об оптимальности варианта Uj ; n - число рассматриваемых вариантов (мощность множества V); P(H; ), P(H; / A( j) ) - априорная и апостериорная вероятности гипотезы H; соответственно; P(A( j) /H; ) - вероятность события A( j) , если имеет место гипотеза H; (правдоподобие).

Будем полагать, что событие Aj произошло, если вариант и j очередной фактор вывел на 1-е место, при n = 2^3, и на 1-е или 2-е место - при n > 3 .

ТЕХНИЧЕСКИЕ НАУКИ

Если произошло событие А( j), то апостериорная вероятность P(Hi/A(j)} рассчитывается по формуле, аналогичной (11):

P(Hi/ A (j))

P(A(j)/Hi)*P(HQ If=i ?(A(j)/Hi)*P(Hi) ,

(12)

где P(Hi / A ( j) ) - апостериорная вероятность гипотезы Hi при событии А( j).

По результатам рассмотрения очередного к-го фактора рассчитываются усредненные апостериорные вероятности по формуле

Pk(Hi/^) = ^Е”=1 Р( Нк;/А®), и»1."; (13)

. * = {Ац),

где A(j) - событие, связанное с проверкой гипотезы Hki , то есть того, что к-й фактор вариант и j поставит на первые места, для части слагаемых суммы имеет место A( j) , для другой - А ( j).

Вероятности P(Hi), P(Hi / A( j) ), P(Hi / A( j) ), Рк (Hi /А) естественно удовлетворяют условию полноты группы событий, т. е.

Z?=1 P( но = l, zy=1 P( но Aj) = l, zy=1 P( но Aj) = l, Z”=1 Pk(Hi/^) = 1

и

P(AU) /Hi) + P(AU) /Hi) = 1, i ,]=l"

В качестве оптимального варианта и* после к-й экспертизы берется тот, для которого вероятность, рассчитанная по формуле (3), максимальна и выполняется условие, что некоторое наперед заданное число m последующих экспертиз не изменяет соотношения:

Pk+m(H(u*)/Н ) = max mev { Рk+m(H(t)i)/ Н }, (14)

где H(u*) - гипотеза об оптимальности варианта и* , H(ui ) = Hi .

При использовании байесовского подхода для решения подобных задач важную роль играет формализация правила «остановки» в процессе проведения экспертиз. С одной стороны, своевременное прекращение итераций экономит время, затрачиваемое на проведение экспертиз. С другой стороны, необходима уверенность, что дальнейшее рассмотрение факторов не приведет к кардинальному изменению усредненной апостериорной вероятности и принятию другого варианта для реализации.

Наиболее естественно решение об «остановке» принимать по двум показателям: числу m дополнительных факторов, добавление которых может изменить выбор оптимального варианта, и вероятности Pm того, что результаты рассмотрения этих факторов приведут к изменению варианта, т.е. гипотезы, для которой усредненная апостериорная вероятность максимальна.

Определение показателей m и Pm произведем при следующих допущениях:

1) в множестве V можно выделить два лидирующих варианта иа и иЬ ;

2) проведена обработка влияния к факторов, при этом варианту иа отдавалось предпочтение (исход А) ка раз (ка < к) и варианту иЬ (исход В ) - кь раз (кЬ < ка) , т.е. по

Auditorium: электронный научный журнал Курского государственного университета. 2015. № 3 (07)

Переведенцев Д. А. Разработка методики параметрической оценки

научных и инновационных проектов

результатам к итераций вариант ка считается предпочтительным (вероятность Рк (Н(ца ) / sf) - максимальна);

3) в качестве вероятностей исходов A и В принимаются оценки

P

= !! • P

(a) и > Ги

kb

к ,

(15)

причем вероятность Ра > 0,5 ;

4) исходы A и В при последующих рассмотрениях факторов являются независимыми и совместимыми;

5) очередность исходов в m экспертизах не влияет на конечный результат.

При данных допущениях имеет место следующая лемма.

Лемма 1. Если

Рк(Н(ца)/ * ) > Рк(Н(ць)/ ^ ) и Ка > Кь

то соотношение

Рk+m(H(l_)a)/ * ) < Рк+т(Н(цЬ)/ *) (16)

становится возможным при

m > (ка - кв ) +1. (17)

Доказательство леммы непосредственно следует из формулы Байеса (11) и принятых допущений.

Для определения вероятности Pm(b) , характеризующей возможность неравенства (16), используем комбинацию моделей Бернулли для повторяющихся испытаний.

Лемма 2. Если имеет место Pk(H(m)/ s?) > Рк(Н(цЬ)/ ^) и ка > kb и m > 2 (17), то вероятность выполнения неравенства (16) при минимальном значении m определяется формулой

Р.ДЬХв) = (1+Pa)m+ Рв1" . (18)

Равенство (18) означает, что все m рассмотренных дополнительно факторов скажутся отрицательно относительно варианта иа (исходы A ) и положительно относительно ив (исходы B ). Формула (18) непосредственно следует из распределения вероятностей возможных сложных событий при m испытаниях, в которых события A и В могут принимать по два исхода с разными вероятностями.

Такое распределение при использовании моделей Бернулли для событий A и В имеет следующий вид:

Pm(b) = Z!=0 CmVPaV(1-Pa)m'V+0:!=0 CmWO-Pb)"),

(19)

где

C v =

v!( m—v)!

C m = 1, C

mm

0

1.

Следует заметить, что вероятности Pa , Pв (см. (5)) необходимо корректировать после каждой итерации [Муромцев 2003].

ТЕХНИЧЕСКИЕ НАУКИ

Описанный подход к работе с научными проектами не только позволяет сэкономить время на оценку и отбор проектов под определенный конкурс, но и приведет к большей степени объективности в оценке их практической полезности и реализуемости, поскольку осуществляется постоянная сторонняя оценка экспертами различной квалификации и уровня интересов посредством их частого представления на разных конкурсах и выставках. С каждой последующей стадией проекта будут совершенствоваться способы его коммерциализации и привлечения инвесторов.

Актуальность выбранного направления исследований представлена необходимостью развития и совершенствования методик оценки перспективности проектов и управления их инновационным потенциалом в соответствии с постоянно изменяющимися внешними и внутренними условиями, а также необходимостью активизации работы по коммерческой реализации новшеств, незначительностью уровня исследования затронутых проблем и практической значимостью в рамках инновационного пути развития российской экономики.

Библиографический список

Вентцель Е.С., Овчаров Л. А. Теория вероятностей и ее инженерные приложения: учеб. пособие. 5-е изд., стер. М.: КНОРУС, 2010. 480 с.

Муромцев Д.Ю., Орлова Л.П., Козлов А.И. Принятие решений с использованием байесовского подхода и экспертных оценок // Вестник ТГТУ. 2003. Т. 9. № 1. С. 15-24 Переведенцев Д.А., Горохов М.М. Информационно-аналитическое обеспечение процесса коммерциализации результатов научной деятельности университета // Вестник ИжГТУ. 2015. № 1 (65). С. 99-102

Петровский А.Б. Многокритериальный подход к оценке результативности научных проектов / А.Б. Петровский, Г.В. Ройзензон, И.П. Тихонов, А.В. Балышев // Вестник НТУ ХПИ. 2009. №43. С. 138-148

Постановление № 62 ОИФН РАН «Об оценке научной деятельности институтов гуманитарного профиля» от 16 октября 2013 г., г. Москва. [Сайт]. URL: http://www.saveras.ru/archives/3691 (дата обращения: 10.07.2015).

Прокопов Б.И. Инновационные проекты: экспертиза и оценка // Проблемы современной экономики, 2009. N2(30), ISSN электронной версии 1818-3409 [Сайт]. URL: http://www.m-economy.ru/art.php?nArtId=2540 (дата обращения: 05.07.2015).

Хохлов А.Р. Как DFG проводит экспертизу научных проектов // электронный научный журнал «Наука и технологии РФ» (S&T RF) [Сайт]. URL:

http://www.strf,ru/material.aspx?CatalogId=221&d no=76975#.Vaeq6yHtmkq (дата

обращения: 25.06.2015).

Auditorium: электронный научный журнал Курского государственного университета. 2015. № 3 (07)