CC BY
76
РАЗРАБОТКА РЕИТИНГОВОИ МОДЕЛИ ОЦЕНКИ НАУЧНЫХ ПРОЕКТОВ
УДК: 004.94
Павел Андреевич Калачихин,
аспирант Московского государственного университета экономики, статистики и информатики,
Эл. адрес: [email protected]
Юрий Филиппович Тельнов,
д-р эконом. наук, проф., зав. кафедрой прикладной информатики Московского государственного университета экономики, статистики и информатики, Тел.: +7 (495) 442-80-98, Эл. адрес: [email protected]
В статье исследована процедура организации конкурса научных проектов вуза, предложена новая методика расчета рейтинга проектов. За основу взят метод экспертных оценок, при расчете используются факторные переменные. Результатами являются правила обработки параметров модели, расчета промежуточных переменных, расчета итогового рейтинга и разделения объектов на классы по значению рейтинга. Разработанная методика позволяет повысить обоснованность результатов конкурсного отбора при планировании научных исследований.
Ключевые слова: научные информационные системы, научно-исследовательская деятельность, научный конкурс, рейтинговая модель.
Pavel A. Kalachikhin,
Post-graduate student,
Moscow State University of the Economics,
Statistics and Informatics,
E-mail: [email protected]
Yury F. Telnov,
Doctorate of Economics, Professor, the Head of the Chair of Applied Informatics in Economics,
Moscow State University of the Economics, Statistics and Informatics, Tel.: +7 (495) 442-80-98, E-mail: [email protected]
DEVELOPMENT OF A RATING MODEL OF THE ASSESSMENT OF SCIENTIFIC PROJECTS
The procedure of organization of scientific projects competition in a higher education institution is investigated in the article. The method of expert evaluations is taken as a basis and the factorial variables are used at calculation. The rules of processing of model parameters, calculation of intermediate variables, calculation of a total rating and division of objects into classes on value of a rating are the results. The developed technique allows increasing validity of results of competitive selection during planning scientific researches.
Keywords: science information systems, research activities, scientific competition, rating model.
Введение
В августе 2009 года вступил в силу федеральный закон Российской Федерации № 217-ФЗ «О внесении изменений в отдельные законодательные акты Российской Федерации по вопросам создания бюджетными научными и образовательными учреждениями хозяйственных обществ в целях практического применения (внедрения) результатов интеллектуальной деятельности» [1]. Реализация этого закона открывает возможность вузам коммерциализировать свои научные разработки и привлекать внебюджетные инвестиции. Но представлять интерес для потенциального венчурного инвестора и зарабатывать на инновациях смогут те организации, которые докажут свою жизнеспособность по превращению научной разработки в наукоемкую продукцию.
Подобная система в виде общей схемы действует в частном секторе экономики. Компании устраивают конкурсы и отборы заявок на новые проекты, среди которых можно выделить высокотехнологичные и связанные с высокими рисками венчурные проекты.
Для эффективной работы механизма финансирования науки на основе грантов необходимо использовать современный методический комплекс. За счет совершенствования системы отбора научных проектов должен быть достигнут рост результативности научных проектов, которая выражается в числе зарегистрированных патентов и показателях окупаемости затрат на научные исследования.
В статье решается проблема создания методики конкурсного отбора научных проектов, которая отвечает современным требованиям, обладает преимуществами по отношению к существующим методикам и новизной. Решаются задачи выявления базовых критериев для конкурсного отбора, анализируется процедура конкурсного отбора, на основании полученных результатов разрабатывается рейтинговая модель.
1. Организация конкурса научных проектов
1.1. Требования к организации научного конкурса
Организаторами конкурсов предъявляются требования к соискателям. Требования могут относиться к научной квалификации, возрасту, составу исследовательской группы.
В свою очередь, соискатели грантов выдвигают требования, которые, как правило, относятся к организации конкурсов:
- открытость, возможность принять участие всем желающим, кто считает себя достаточно подготовленным;
- объективность, непредвзятость экспертов в принятии решений, справедливые критерии отбора и равные возможности всех участников;
- сохранение интеллектуальных прав на исследование, суть которого изложена в заявке, при любом исходе конкурса;
- актуальность направления конкурса, своевременность предоставления информации о конкурсе;
- адекватность, соответствие тематическому плану научной организации, корректность при отборе.
Помимо перечисленных выше, существуют требования к длительности срока подачи заявок и этапов конкурса, составу экспертной комиссии, технической подготовке конкурса.
Регламент конкурса должен отражать правила проведения конкурса и специфику конкурсного отбора, выступая в роли основного нормативного акта для научного конкурса. Правовое обеспечение научного конкурса составляют Гражданский кодекс РФ и федеральный закон о «Науке и государственной научно-технической политике».
1.2. Формализация этапов научного конкурса
Процесс организации научного конкурса при выборе точки зрения организаторов конкурса можно представить как композицию организационных процедур (рис. 1).
Регламент проведения конкурса
Сообщение о начале конкурса
Федеральные законы РФ Нормативные акты МинОбрНауки
Прошедшие первичную экспертизу заявки
=а=
Заполненные экспертные анкеты
Конкурсные заявки
Научно-исследовательский институт управления знаниями
Экспертная оценка заявок
А-05
у у
Голосование по
прошедшим оценивание заявкамА-оз
Проект документа о результатах конкурсного отбора
Результаты ко отбора
Утверждение документа о
результатах
А-06
нкурсного
Конкурсная Эксперты комиссия
Рис. 1. Схема организации научного конкурса
Сообщение -►о результатах конкурса
Ученый совет
Организаторы проводят публикацию и рассылку информационного сообщения о начале конкурса. Соискатели готовят и подают заявки, оформленные в соответствии с требованиями информационного сообщения. Далее проводится первичная экспертиза заявок на предмет выявления нарушений правил оформления и условий участия в конкурсе. На втором этапе экспертизы каждая заявка рассматривается независимо двумя экспертами с заполнением эксперт-анкеты установленной формы. На третьем этапе экспертизы конкурсная комиссия знакомится с результатами оценок, голосует по каждой полученной заявке и решение о победителях конкурса и размерах выделяемых грантов оформляет в виде проекта документа «Результаты конкурсного отбора». Руководство вуза
рассматривает и утверждает документ на Ученом совете вуза, победителям конкурса рассылается уведомление. Далее происходит процедура выплаты грантов, которая находится за рамками конкурсного отбора [2].
Входными документами являются конкурсные заявки, на выходе формируется перечень отобранных заявок. Промежуточная информация включает регистрационные сведения о заявках, оперативные результаты многоэтапной оценки, рейтинги заявок.
2. Рейтинговые модели научных проектов
2.1. Постановка проблемы
Возрастающая роль исследований, проводимых в рамках вузовской науки, формирует проблему разра-
ботки адекватной методики оценки научно-исследовательских проектов. В связи с этим является актуальным разработка методики, адаптированной специально для вуза, которая позволит выявить работы с наиболее высоким научно-практическим потенциалом, может оперативно использоваться на практике и стать основой регламента для стадии отбора заявок на соискание грантов.
Создавая новую методику, необходимо заново определить факторные переменные, вывести формулы расчета рейтинга, указать способ ранжирования результатов. Также необходимо на тестовых данных подтвердить корректность модели или внести изменения в модель.
При расчете рейтинга, как правило, используется метод экспертных
оценок. Метод экспертных оценок является удобным инструментом для измерения величин при субъективном факторе и отсутствии традиционной шкалы измерения. После разработки математического ядра модели формирования рейтинга следует перейти к созданию алгоритма и его реализации в виде программного средства, так как разработка инструментального средства должна стать итогом работ над методикой.
2.2. Анализ методик оценки научных проектов
В настоящее время методы оценки эффективности запланированных и реализованных проектов являются достаточно изученными. Методики используются при составлении бизнес-планов, контроле результатов инновационной деятельности, отборе научно-исследовательских проектов на соискание грантов. Среди отечественных выделяют методики научных фондов, методики, связанные с национальными научно-техническими и федеральными программами, отраслевые методики
и методики научно-образовательных организаций.
Методика Министерства образования и науки России позволяет нескольким экспертам сделать заключение о качестве научного проекта. Используется три группы показателей: научно-технические, организационно-производственные, рыночные. При помощи таблицы опроса эксперт присваивает научному проекту баллы [4].
Российская программа экономических исследований использует другую систему оценки. В число критериев отбора входят: актуальность темы исследования, четкость постановки задачи; использование современной научной методологии, проработанность и оригинальность метода исследования; наличие необходимых данных; опыт заявителя и знакомство с научными работами в соответствующей области; значимость проекта для решения насущных проблем российской экономики; реалистичность и эффективность плана работы над проектом; уровень презентации проекта и участие соискателя в работе научного семинара
программы; содействие профессиональному росту исполнителей [4, 5].
Российский фонд фундаментальных исследований использует многоуровневую процедуру экспертизы научных проектов. На первом этапе проводится первичный отбор и обоснование для отклонения не прошедших отбор проектов, подбор экспертов по каждому проекту. На втором этапе составляется общий рейтинг проекта, исходя из научной ценности проекта, возможности реализации проекта в срок и корректирующего элемента [4, 6].
В методике Российского гуманитарного научного фонда научному проекту присуждается один из пяти вариантов итогового заключения, от отказа в рассмотрении до безусловной поддержки. Учитываются критерии четкости изложения замысла проекта, четкости определения цели и методов исследования, качественных характеристик проекта, научный задел, публикации по заданной теме, научно-методическая проработка решения проблемы, новизна постановки проблемы [4, 7].
Таблица 1. Сопоставление методик отбора научных проектов
Характеристики Методики отбора
Госкомвуз Российская программа экономических исследований Российский гуманитарный научный фонд (РГНФ) Российский фонд фундаментальных исследований (РФФИ) Национальный фонд США
Критериальная база Научно-технические показатели, организационно-производственные показатели, рыночные показатели, экономические показатели Значимость проекта, четкость постановки задачи и оригинальность, использование современной научной методологии, наличие необходимых данных, опыт соискателей, реалистичность и эффективность плана работы, уровень презентации проекта Четкость изложения замысла и определения целей, качественные характеристики, научный задел, новизна постановки проблемы Четкость изложения, научные показатели, авторский коллектив, реализуемость проекта, финансирование проекта Рыночные, научно-технические, производственные, финансовые показатели
Математические модели Оценивание по пятибальной шкале, суммирование баллов Суммирование баллов за ответы на вопросы анкеты Среднее взвешенное экспертных оценок Среднее взвешенное экспертных оценок Усредненная оценка с учетом весовых коэффициентов
Процедура назначения экспертов Привлечение группы высококвалифицированных специалистов Внешние эксперты и научные консультанты Эксперты фонда участвуют в оценке Эксперты фонда участвую в оценке Эксперты являются узкими специалистами и группируются по тематическим направлениям
Процедура экспертной оценки Индивидуальная оценка заявок в один этап, сравнение сумм баллов Трехэтапная процедура, решения принимаются по результатам всех этапов Оценивание ответов на вопросы анкеты путем суммирования баллов Многоэтапная процедура оценки, суммарный рейтинг рассчитывается по трем показателям Независимая экспертиза проектов экспертами по различным показателям
Информирование о результатах Информирование через внутреннюю систему документооборота при помошц служебных документов и отчетов Информирование через web-сайт Информирование через web-сайт и специальные печатные издания Ведение базы данных с результатами во временном срезе Персональное информирование авторов заявок, предоставление открытой части информации через Интернет
Зарубежный опыт оценки научных проектов выражается в методике Национального фонда США. Проекты разбиваются на категории по тематике, для каждой категории создается группа квалифицированных экспертов. Используется методика построения рейтинга с использованием весовых коэффициентов. Выходным документом является ранжированный список научных проектов. Оцениваются рыночные, научно-технические и производственные характеристики проектов
[4, 8].
Принятие решений инвестиционного характера, как и любой другой вид управленческой деятельности, основывается на использовании различных формализованных и неформализованных методов. Какой-то универсальной методики, пригодной для всех случаев жизни, не существует.
Каждая из методик имеет свою область применения. Современная наука классифицируется на академическую, отраслевую и вузовскую, по другой классификации - на фундаментальную и прикладную. Каждый сегмент науки использует собственные критерии отбора. Часть методик отбора ориентирована на фундаментальный результат и отсроченный эффект в будущем за счет радикальных изменений, когда наступит момент отдачи, качественный скачок, при этом появление качественно новых технологий и продуктов производства начинает приносить не только деньги, но и удобства в жизнь людей. Другая часть методик позволяет отбирать прикладные разработки, которые ориентированы на «быстрые деньги» и наиболее привлекательны для бизнеса. Любая из методик оценивает потенциальный научный результат, но в одних случаях акцентируются организационно-финансовые, в других - научно-технические критерии (табл. 1).
В данной работе представлена методика оценки научных проектов по различным критериям, которые позволяют выявить работы с наиболее высоким потенциалом. Именно такие работы в ряду перспективных инновационных направлений могут рассматриваться инвестиционно привлекательными.
2.3. Расчет рейтинга научного проекта
Рейтинговая модель включает правила обработки параметров модели, расчета промежуточных переменных,
расчета итогового рейтинга и разделения объектов на классы по значению рейтинга.
Существует множество различных рейтинговых моделей. Рассмотрим модель линейного рейтинга и бинарную модель.
В модели линейного рейтинга сначала необходимо отобрать факторные переменные, по которым оценивается значение критериев. Каждой факторной переменной присваивается некоторый вес, который учитывает значимость критерия. Линейный рейтинг есть линейная комбинация факторных переменных и их весов [3]:
х
Я =
(1)
Если Wi = сот1, то
(X, + X2 + ... + Х„ )
Я =
N
(2)
Другим примером рейтинга является бинарный рейтинг. Бинарный рейтинг принимает значение либо 0, либо 1, в зависимости от соотношения с некоторым значением С:
R = 0, если ОД, Х2, ..., Хп) < С, (3)
R = 1, если ОД, Х2, ..., Хп) > С (4)
Предлагаемые в статье критерии позволяют отбирать как фундаментальные, так и прикладные разработки, которые имеют высокие шансы быть реализованными. Критерии отбора достаточно гибкие для отбора наиболее подходящих проектов под требования организатора конкурса.
Актуальность выбранной темы говорит об отношении к насущным задачам и проблемам, значимости результатов исследования. Объем выполненных подготовительных работ позволяет определить, насколько авторы подготовлены и насколько они продвинулись в данном направлении, какой фундамент для будущей работы заложен. Критерий соответствия тематике позволяет отобрать заявки, имеющие наиболее прямое отношение к заданному направлению конкурса. Практическая значимость говорит о возможности практического внедрения результатов работы, включая весь цикл инновационной деятельности - от научной идеи через конструкторскую разработку, патентование к производству до создания рыночного продукта.
Подготовленность авторов позволяет судить об уровне знаний в выбранной теме, общем научном уровне. Связь с остальными областями характеризует место и роль темы исследования относительно других научных направлений. Абстрактность темы задает положение темы по шкале «описательный уровень - практически значимый уровень». Ширина темы свидетельствует о количестве используемых понятий, концепций, моделей из других областей. Потенциальный экономический эффект определяется соотношением затрат и доходов от использования указанной разработки. Величина риска характеризует вероятность успешной реализации проекта при экономических и научных факторах. Сроки внедрения указывают период, за который возможно результаты исследования воплотить в практический результат. Авторские права задают статус проекта по отношению к авторам.
Каждому указанному выше критерию из таблицы 2 ставится в соответствие факторная переменная, шкала оценивания и вес. Параметрами модели могут являться веса того или иного критерия или же пороговое значение факторной переменной. Необходимо учесть, что рейтинг складывается из оценок нескольких экспертов.
Вес каждой факторной переменной устанавливается группой квалифицированных экспертов в соответствии со значимостью критерия в зависимости от специфики конкурса.
На первом этапе каждый эксперт выносит собственное заключение относительно каждого /-го рейтингового показателя каждой /-ой оцениваемой заявки. Далее для формирования рейтинга факторные переменные шкалируются (нормируются) [9]:
X — X
X ' _. ч ™п 1
ч V — V
тах ч тт ч
(5)
где X - значение /-го факторного показателя /-ой оцениваемой заявки, Хтах, Хтп ] -максимальное и минимальное возможные значения/-го показателя для рассматриваемых заявок.
Агрегирование шкалированных показателей одного эксперта в итоговую оценку по /-ой заявке выполняется по формуле:
Ех =±хX*), = 1, (6)
4=1 7=1
где Wj - значение весов факторных переменных, N - число факторных переменных в модели.
=1
Таблица 2. Факторные переменные рейтинговой модели и их характеристики
Название переменной Наименование критерия Вес переменной Шкала оценки
REL Актуальность Является параметром 1 - «не актуально» 2 - «тема утратила актуальность» 3 - «тема входит в тематический план» 4 - «новое направление исследований»
GW Проделанная работа Является параметром 1 - «нет подготовленной базы» 2 - «разработана концепция» 3 - «имеются начальные результаты» 4 - «тема глубоко проработана»
SUB Соответствие тематике Является параметром 1 - «вне тематики конкурса» 2 - «связана с тематикой конкурса» 3 - «соответствует тематике конкурса»
PR Практическая значимость Является параметром 1 - «не имеет применения» 2 - «может быть использована в некоторой отрасли» 3 - «применение в нескольких отраслях» 4 - «стратегическая значимость результатов»
GA Подготовленно сть авторов Является параметром 1 - «автор не подготовлен» 2 - «автор заинтересован в теме» 3 - «автор является специалистом» 4 - «автор имеет большой опыт, знания и успехи»
RW Связь с остальными областями Является параметром 1 - «отдельная самостоятельная тема» 2 - «затрагивает смежные вопросы» 3 - «междисциплинарное направление» 4 - «общенаучное направление»
ABS Абстрактность Является параметром 1 - «малосодержательное направление» 2 - «абстрактное направление» 3 - «фундаментальное направление» 4 - «прикладное направление»
WID Ширина темы Является параметром 1 - «крайне узкая тема» 2 - «специфичное направление» 3 - «широкая тема»
CB Затраты на материально-техническую базу Является параметром 1 - «требуется сложная технологическая платформа» 2 - «требуется опытно-конструкторская база или научное оборудование» 3 - «требуется минимальное материально-техническое обеспечение»
PEF Потенциальный экономический эффект Является параметром 1 - «эффект в перспективе при успешных результатах» 2 - «результат покрывает затраты» 3 - «высокий доход от инвестиций» 4 - «масштабный эффект при реальных шансах»
VR Величина риска Является параметром 1 - «крайне высокий риск» 2 - «результат возможен при значительном риске» 3 - «допустимый риск» 4 - «высокая степень надежности»
PUW Сроки внедрения Является параметром 1 - «нет определенных сроков» 2 - «крайне отдаленные сроки внедрения» 3 - «внедрение через несколько лет» 4 - «возможность внедрения за минимальные сроки»
AR Авторские права Является параметром 1 - «права на разработку полностью защищены другими авторами» 2 - «допускаются авторские права на разработку» 3 - «является ноу-хау авторов»
Общий рейтинг /-ого научного проекта, оцениваемого несколькими экспертами, вычисляется по формуле:
м
£ Ех>
Я = -X К, (7)
' м
где Ех1 - суждения экспертов по /-ой научной заявке, М - число экспертов, К - множитель, влияющий на порядок рейтинга (например, 100 или 1000).
Справедливы ограничения на области допустимых значений нормиро-
ванной переменной, итоговой оценки и общего рейтинга научной заявки:
0 <Х* < 1, 0 < Ех, < 1, 0 < К < К (8)
Для ранжирования участвующих в конкурсе проектов по набранному рейтингу формируется квадратная матрица из нулей и единиц. Если проект под номером р набрал больший рейтинг, чем проект q, то в поле р-ой строки и д-го столбца ставится 1, в остальных случаях 0. Проводится суммирование по строкам, каждой сумме соответствует число баллов. Далее составляется список, где проекты с высоким числом
баллов получают начальные места, проекты с низкими баллами занимают место в конце списка.
2.4. Достоинства и недостатки предложенной методики
Предложенная методика разработана специально для вуза. Критерии отбора актуальны и измеримы, достаточно ясны для эксперта, являющегося специалистом в данной области.
Возможно использование дополнительных критериев отбора. Например, предпочтение может отдаваться актуальным темам с высокой степенью
подготовки или возможности использования прикладной темы в некоторой отрасли. Это значит, что для отдельных проектов, соответствующих дополнительным условиям, следует резервировать позиции в верхней части рейтинга.
Данная методика использует объективный отбор по нескольким критериям. Возможны и другие варианты, где каждый автор голосует за один или несколько научных проектов, победители конкурса определяются большим числом голосов. Также возможна организация научного конкурса в виде турнира, при котором авторы защищают свои научные идеи.
Заключение
В статье исследована процедура организации конкурса научных проектов вуза, предложена новая методика расчета рейтинга проектов на основе метода экспертных оценок. Результатами являются правила обработки параметров модели, расчета промежуточных переменных, расчета итогового рейтинга и разделения объектов на классы по значению рейтинга.
Разработанная методика позволяет повысить обоснованность результатов конкурсного отбора при планировании научных исследований и предлагается к использованию вузами для обеспечения поддержки всего жизненного цикла научно-исследовательской работы - от создания заявки до регистрации результата интеллектуальной деятельности. Результаты работы могут оперативно использоваться на практике, а также стать основой разработки регламента для стадии отбора заявок на соискание грантов.
Массив данных, накопленных по итогам конкурсных отборов, является статистическим материалом для формирования реестра результатов интеллектуальной деятельности вуза. Исходя из этих данных, определяются тенденции в поиске новых научно-
исследовательских направлений, рассчитываются общие затраты на НИР, оцениваются потребности в материально-техническом обеспечении для реализации НИОКР, формируются учредительные вклады при создании малых инновационных предприятий в рамках реализации ФЗ-217.
Литература
1. Федеральный закон Российской Федерации от 2 августа 2009 г. № 217-ФЗ «О внесении изменений в отдельные законодательные акты Российской Федерации по вопросам создания бюджетными научными и образовательными учреждениями хозяйственных обществ в целях практического применения (внедрения) результатов интеллектуальной деятельности». Официальный сайт компании «Консультант-Плюс». http:// www.consultant.ru
2. Положение о конкурсе на соискание грантов МЭСИ. --- - МЭСИ, 2007. - 21 с.
3. А.И. Орлов. Организационно-экономическое моделирование: учебник: в 3 ч. - М.: Изд-во МГТУ им. Н.Э. Баумана. - 2009. Ч. 2: Экспертные оценки. - 2011. - 486 с.
4. В. В. Глухов, С. Б. Коробко, Т. В. Маринина. Экономика знаний. — СПб.: Питер, 2003. — 528 с.
5. Российская программа экономических исследований, http://www. eerc.ru/
6. Российский фонд фундаментальных исследований, http://www.rfbr.ru
7. Российский гуманитарный научный фонд, http://www.rfh.ru/
8. А.Н. Авдулов, А.М. Кулькин. Фонды поддержки науки в России // Российский фонд фундаментальных исследований, 1997.
9. Аль-Сараирех Шади, Ковалев М.М. Рейтинговые модели качества госуправления в условиях «новой экономики» // Проблемы прогнозирования
и государственного регулирования социально-экономического развития: Материалы VII Международной научной конференции (Минск, 19-20 октября 2006 г.). В 4 т. Т. 4. Мн.: НИЭИ Министерства экономики Республики Беларусь. 2006. С. 11-31.
References
1. The federal law of the Russian Federation from August 2, 2009 of No. 217-FZ «About modification of separate acts of the Russian Federation concerning creation by the budgetary scientific and educational institutions of economic societies with a view of practical application (introduction) of results of intellectual activity». Official site of the Konsultant Plus company. http://www.consultant.ru
2. The provision on competition on competition of grants of MESI. - MESI, 2007. - 21 pages.
3. A.I.Orlov. Organizational and economic modeling: textbook: in 3 h.
- M: MGTU publishing house of N.E. Bauman. - 2009. H. 2: Expert estimates.
- 2011. - 486 pages.
4. V. V. Gluhov, S. B. Korobko, T.V. Marinin. Economy of knowledge. — SPb.: St. Petersburg, 2003. — 528 pages.
5. Russian program of economic researches, http://www.eerc.ru/
6. Russian fund of basic researches, http://www.rfbr.ru
7. Russian humanitarian scientific fund, http://www.rfh.ru/
8. 8. A.N.Avdulov, A.M.Kulkin. Funds of support of a science in Russia //Russian fund of basic researches, 1997.
9. Al-Sarairekh Shadi, Kovalev M. M. Rating models of quality of a state administration in conditions of «new economy»//Problems of forecasting and state regulation of social and economic development: Materials VII of the International scientific conference (Minsk, on October 19-20, 2006). In 4 t. T. 4. Мн.: NIEI of the Ministry of Economics of Republic of Belarus. 2006. Page 11-31.
