Модель и инструментарий оценки эффективности и уровня инновационности исследовательской деятельности научных организаций Текст научной статьи по специальности «Экономика и бизнес»

УДК 001.892 001.895

МОДЕЛЬ И ИНСТРУМЕНТАРИЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ И УРОВНЯ ИННОВАЦИОННОСТИ ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ

о ,

НАУЧНЫХ ОРГАНИЗАЦИЙ*

MODEL AND TOOLS FOR EVALUATION OF EFFICIENCY AND LEVEL OF INNOVATIVE RESEARCH ACTIVITIES OF RESEARCH ORGANIZATIONS*

Сергей Николаевич ЛАРИН,

кандидат технических наук, старший научный сотрудник, Центральный экономико-математический институт РАН E-mail: larinsn@cemi.rssi.ru Людмила Ивановна ГЕРАСИМОВА, научный сотрудник, Центральный экономико-математический институт РАН E-mail: gerasimova@cemi.rssi.ru Елена Михайловна ИЛЬМЕНСКАЯ, научный сотрудник, Центральный экономико-математический институт РАН E-mail: lenail@cemi.rssi.ru

Предложен подход к формализации основных составляющих инновационной деятельности научно-исследовательских организаций с учетом параметров воздействия внутренней и внешней среды, особенностей накопления и устаревания знаний, вариантов использования новых технологий, стимулирования государством повышения активности инновационной деятельности научных организаций. Разработана новая модель оценки эффективности и уровня инновационности деятельности в условиях рыночной конкуренции, адаптированная к существующей методике многокритериальной иерархической оценки качества в условиях неопределенности.

Ключевые слова: инновационная деятельность, формализация показателей, научно-исследовательские организации, оценка эффективности и уровня инновационности, модель, методика многокритериальной иерархической оценки качества.

Sergei Nikolaevich LARIN,

PhD of technical sciences, Senior Researcher, Central Economics and Mathematics Institute, RAS E-mail: larinsn@cemi.rssi.ru Liudmila Ivanovna GERASIMOVA, Researcher, Central Economics and Mathematics Institute, RAS E-mail: gerasimova@cemi.rssi.ru Elena Mikhailovna IL'MENSKAIA, Researcher, Central Economics and Mathematics Institute, RAS E-mail: lenail@cemi.rssi.ru

This article offers an approach to formalization of the main components of innovative activities of research organizations, taking into account the following: internal and external environmental impact parameters, knowledge accumulation-and-obsolescence character, new technologies application, governmental provision of incentives to increase the research organizations' innovative activities. The system of indicators to measure the efficiency and innovativeness of research organizations and their subdivisions. The authors show a new model of evaluation of the efficiency and level of innovative activities under the market competition conditions. The model conforms to the existing hierarchical multicriterion technique of quality evaluation in the terms of uncertainty.

Keywords: innovation, formalization of indicators, research organizations, evaluation of efficiency and level of innovative activities, model, hierarchical multicriterion technique of quality evaluation.

* Исследование выполнено при финансовой поддержке Российского гуманитарного научного фонда (проект № 13-02-00281а).

* Research is supported by the Russian humanitarian scientific fund (project no. 13-02-00281а).

Введение

Эффективность является одной из главных характеристик человеческой деятельности вообще и научно-исследовательской деятельности в частности, что приводит к необходимости ее более подробного изучения. Как правило, результатом научно-исследовательской деятельности становятся новые знания о закономерностях строения окружающего мира. При этом с точки зрения развития общества любой эффект (научное открытие) от получения новых знаний может привести к трансформации общественно-экономической жизни независимо от того, в какой сфере (экономической, социальной, политической или исключительно научной) реализован его результат. В связи с этим особую значимость приобретают практические результаты, полученные на этапе прикладных научных исследований и опытно-конструкторских разработок (НИОКР). Однако, во-первых, не всегда можно с высокой долей вероятности определить наиболее перспективные направления для получения таких результатов, во-вторых, в основе всех практических результатов лежат достаточно длительные фундаментальные исследования. Естественно, что для фундаментальной науки невозможно заранее узнать не только конкретные направления практического использования результатов фундаментальных исследований, но и саму возможность их получения [17]. Поэтому выбор приоритетных направлений фундаментальных научных исследований следует осуществлять исходя из потенциально возможной выгоды будущих результатов этих исследований как для развития общества в целом, так и для развития науки.

В современных условиях перспективы развития прикладной науки неразрывно связаны с инновационной деятельностью и внедрением полученных результатов в производство [14, 15]. Это обстоятельство влечет за собой необходимость комплексных преобразований структуры научно-исследовательских организаций (НИО) и оценки результативности их деятельности по выявлению уровня ее инновационности и эффективности.

В условиях рынка регулярное проведение анализа и оценки эффективности деятельности НИО (академий, университетов, отраслевых и образовательных институтов и их подразделений) становится важнейшим направлением определения ее результативности. Результаты такого анализа и оценки могут стать основанием для принятия

соответствующих управленческих решений по дальнейшему развитию и стимулированию научно-исследовательской деятельности, а также формированию эффективной системы научных организаций, увеличению их вклада в социально-экономическое развитие страны и повышению ответственности за принятие управленческих решений в сфере науки.

Постановка проблемы исследования

Управление деятельностью НИО в современных условиях требует непрерывного поступления и своевременной обработки информации об эффективности и уровне инновационности их деятельности. К сожалению, имеются различные методологические трудности и проблемы в разработке подходов к определению эффективности деятельности НИО, отвечающих современным требованиям. Поскольку в случае успешной реализации каждая конкретная НИОКР может дать комплекс разнородных эффектов, то до настоящего времени не разработан единый методологический подход к определению понятия эффективности деятельности НИО, оценке ее результативности и уровня инновационности [11]. Отсюда возникает необходимость разработки унифицированной системы показателей и создания на их основе методики оценки эффективности деятельности как НИО в целом, так и их отдельных подразделений (отделов, лабораторий и др.). Для этого целесообразно использовать единый методологический подход, а также усовершенствовать существующие методы оценки эффективности деятельности НИО и их подразделений на основе последних достижений научно-технического прогресса, а также новейших разработок теории менеджмента и современной экономики. При этом следует учитывать постоянно изменяющиеся требования рынка к условиям функционирования и экономическим показателям деятельности НИО. На этом основании можно сделать вывод о том, что исследуемая проблема является актуальной и значимой.

Решение проблемы оценки результативности и повышения эффективности и уровня инноваци-онности деятельности НИО неразрывно связано с созданием новых методических разработок, практическое использование которых поможет сформировать реальную картину деятельности НИО и выработать конкретные рекомендации для улучшения показателей их работы [19, 20]. Поэтому

основной целью авторского исследования является разработка системы показателей для оценки эффективности деятельности НИО и их подразделений. Для ее достижения будут последовательно решены следующие задачи:

- проанализированы существующие подходы к оценке эффективности научной деятельности;

- обоснованы показатели и критерии для оценки эффективности и уровня инновационности деятельности НИО и их подразделений;

- сформирована система показателей для оценки эффективности и уровня инновационности деятельности НИО и их подразделений;

- разработаны модель и методика многокритериальной оценки эффективности и уровня инновационности деятельности НИО и их подразделений.

Раскроем содержание этих задач.

Анализ существующих методических подходов к оценке эффективности и уровня инновационности научной деятельности

В условиях административно-командной экономики методам оценки эффективности НИО уделялось мало внимания. Последние работы по данному вопросу в нашей стране датируются 1980-1990-ми гг. В развитых же странах этот вопрос практически всегда находился в числе приоритетных. Не случайно во многих крупнейших корпорациях давно разработаны и постоянно совершенствуются всевозможные методики оценки эффективности научно-исследовательской деятельности. Переход отечественной экономики на рыночные отношения повлек за собой серьезные изменения условий деятельности НИО и сделал неизбежными коренные изменения в подходах к оценке эффективности их деятельности.

Проведение НИОКР применительно к современным российским условиям характеризуется специфическими особенностями, которые для большинства крупных многопрофильных НИО выражаются в следующем:

- неразрывная связь с созданием инноваций и их внедрением в производство (коммерциализацией);

- использование принципов проектного управления, при этом в качестве проектов выступают отдельные темы и их этапы;

- преобладание матричной структуры управления;

- широкая дифференциация деятельности НИО по видам и направлениям исследований;

- высокий уровень конкуренции, в том числе со стороны зарубежных научных организаций;

- деятельность федеральных государственных бюджетных учреждений науки направлена на поддержание социальной стабильности общества, обороноспособности, экономической безопасности и доходности государства как собственника имущества и должна соответствовать требованиям эффективности;

- ориентация на решение стратегических перспектив жизнедеятельности общества и развитие соответствующей отраслевой науки;

- основным источником финансирования являются средства государственного бюджета [4]. Высокая сложность и специфичность такого

объекта управления, как проведение НИОКР, обусловливают необходимость разработки и применения специальных методических подходов для оценки эффективности научной деятельности. Повышение эффективности научной деятельности основывается на применении современных управленческих технологий, позволяющих сформировать объективные подходы к оценке научных результатов отдельных подразделений, а также их вклада в достижение основных целей НИО.

В настоящее время существует много исследовательских разработок, в которых рассматриваются отдельные аспекты проблемы оценки эффективности научно-технической деятельности. Как правило, в них представлены разноплановые методики, использующие различные системы показателей эффективности и способы сравнения объектов оценки. При этом во многих из них центральное место занимает выбор критериев оценки результатов научной деятельности. Большинство существующих разработок основывается на показателях продуктивности и результативности, в соответствии с которыми выделяют два подхода к оценке эффективности научной деятельности.

Наиболее распространенным подходом к оценке продуктивности научных исследований является ее характеристика следующим набором показателей:

- публикационно-информационные, которые отражают количество опубликованных статей и монографий, сделанных докладов и полученных патентов на изобретения;

- завершенности НИОКР, которые отражают количество защит диссертаций, а также объемы

выполненных исследований в стоимостном выражении;

- признания результатов научной общественностью, которые отражают количество полученных НИО и ее сотрудниками различных премий, наград, почетных званий и др. [16]. Выбор показателей данного типа объективно подтверждается существованием факторов, способствующих выравниванию ценности научных результатов одного вида. Так, для кандидатских диссертаций утвержден стандартный набор требований к их оформлению и срокам подготовки, а также порядок рецензирования, обсуждения и защиты. Сторонники этого подхода считают, что формализованные системы отличаются от субъективного оценочного механизма в лучшую сторону, поскольку они позволяют осуществлять контроль научной деятельности, а его результаты могут использоваться при формировании целенаправленной политики развития НИО. Данный подход достаточно прост, понятен и удобен, но он имеет ряд недостатков.

Главный недостаток заключается в том, что содержащаяся в разных публикациях информация может иметь одинаковое количественное измерение и на этом основании считаться равнозначной. Однако научная ценность даже двух близких публикаций может оказаться несопоставимой, что автоматически делает выводы, полученные при данном подходе, во многом ограниченными. Кроме того, многие исследователи склоняются к мнению, что между объемом опубликованной информации и ее качественной значимостью существует более сложная зависимость, которую еще предстоит определить. В дополнение к этому приведенный выше набор показателей вызывает критику и в части неправомерной формализации ряда принципиально неформализуемых качественных показателей.

За рубежом распространен наукометрический подход к оценке продуктивности научной деятельности, при помощи которого ее качество оценивается путем количественного учета цитирований той или иной научной публикации. Несмотря на свою известность, этот подход также обладает рядом существенных недостатков. Практика показала, что публикации определенных типов (например, стандартные методики наблюдений и экспериментов) цитируются намного чаще других независимо от их качества. Это обусловлено слишком большим количеством субъективных моментов, когда авторы пуб-

ликаций обязаны использовать ссылочный аппарат при публикации результатов своих научных исследований. Кроме того, при цитировании неизбежно возникает временной период, продолжительность которого в зависимости от конкретного издания может превышать 1-2 года. Это обстоятельство делает затруднительным получение оценок эффективности научной деятельности в оперативном режиме. Недостатком этого подхода является и то, что его разработчик - американский журнал Science Citation Index - не в состоянии охватить все научные издания и объем научных публикаций при анализе [11].

В научной среде многих стран мира отсутствует стремление подвергать результаты своего труда какой-либо целевой оценке. Исключение составляет общепринятое вынесение результатов своих научных исследований в виде публикаций на суд научной общественности. С этих позиций наименьшие возражения вызывает экспертная оценка эффективности научной деятельности, которая расценивается как оценка равных. В случае невозможности объективного измерения именно компетентная экспертная оценка позволяет наиболее реально оценить полученные в ходе проведения научных исследований результаты. То есть экспертная оценка конкретного результата отражает его признание научным сообществом. Но и метод экспертных оценок также не является универсальным решением проблемы оценки эффективности научной деятельности [21]. Его основными недостатками являются невозможность полного устранения личной мотивации эксперта, отсутствие у различных экспертов единых оценок результатов одного и того же научного исследования, расхождение оценок экспертов быстро нарастает при увеличении числа учитываемых факторов более 3-4.

Преодолеть недостатки изложенных подходов при сохранении их основных достоинств была призвана разработка комбинированного метода, когда оценка результата научного исследования по какому-либо содержательному критерию осуществляется экспертами не произвольно, а путем установления его места на специально разработанной шкале с заранее определенными рангами и установленными возможными уровнями интенсивности проявления того или иного критерия. Экспертиза заканчивалась анализом устойчивости оценок отдельных экспертов внутри их совокупности. Разработка измерительной шкалы по каждому из критериев осуществляется

исходя из условия линейного нарастания интенсивности проявления критерия от ранга к рангу данной шкалы, что в соответствии с обобщенным законом Вебера - Фехнера означает рост реального уровня интенсивности проявления критерия по закону показательной функции. Итоговая оценка результата научного исследования характеризуется логарифмом показательной функции, равным сумме численных значений его рангов на измерительных шкалах, соответствующих всей совокупности учитываемых критериев [10].

Использование комбинированного подхода дает возможность оценивать эффективность и значимость научных работ практически по всей совокупности ученых, относящихся к любой научно-технической системе. При этом используется минимальный объем информации, а именно количество научных результатов каждого ученого (список опубликованных работ) и комбинированная методика оценки нескольких лучших научных результатов (трудов), полученных этим ученым.

Поскольку результаты научной деятельности предназначены для развития общественного воспроизводства, то они должны оцениваться еще и с точки зрения их фактической полезности для общества. Такая оценка эффективности научной деятельности будет зависеть не только от качества научных исследований, но и от функционирования экономики страны в целом. Поэтому и результативность научной деятельности будет зависеть во многом от внешних по отношению к научной сфере причин.

Однако непосредственно измерить результативность научной деятельности не всегда удается. Основными причинами этого являются обособленность науки от производства, наличие существенного периода между получением и практическим использованием результатов научной деятельности, отсутствие унифицированного подхода к формализации научной продукции по видам, формам реализации и фактического учета. В силу действия этих причин для оценки результативности научной деятельности используется система косвенных показателей, учитывающих технический, экономический и социальный эффекты от практического использования результатов научной деятельности.

Технический эффект характеризуется показателями, отражающими технический уровень НИОКР (в сравнении с мировым), их новизну (например, в части использования изобретений), масштабность (широта и длительность применения).

Экономический эффект характеризуется показателями, отражающими стоимостную оценку экономии затрат общественного труда, норму прибыли, объем заказов, объем валютных поступлений, реальную потребительскую стоимость результатов научной деятельности.

Разнообразие и разнохарактерность проявлений социального эффекта научной деятельности делают проблему его оценки нерешенной до настоящего времени. Если определить влияние социального эффекта от использования результатов научной деятельности на отдельного человека и на все общество в целом, то косвенная оценка может выражаться в виде улучшения экономических параметров или снижения затрат.

Можно сделать вывод, что до настоящего времени не разработан универсальный подход и не сформирована соответствующая система показателей, позволяющие комплексно оценивать эффективность научной деятельности.

Обоснование состава показателей и критериев оценки эффективности и уровня инновационности деятельности НИО и их подразделений

Большинство известных методик определения эффективности НИО отражают лишь планируемые показатели (объем, направления, ожидаемые результаты, сроки и стоимость выполнения исследования или разработки). На самом деле результаты деятельности НИО, качество и глубина научно-методических разработок зависят от влияния ряда разнонаправленных факторов: полнота научно-технической информации и наличие квалифицированных специалистов различного профиля, выделенные объемы средств и своевременное финансирование, наличие материально-технической базы для проведения научных исследований, наличие материальной и моральной заинтересованности специалистов, участвующих в проведении исследования, и др.

Эффективность деятельности НИО характеризуется количеством и качеством созданной продукции, которая востребована потребителями (предприятиями, организациями и другими структурами). При этом необходимо учитывать, что эффективность результатов научных исследований зависит не только от научно-технического уровня законченных исследований и разработок, но и от их масштабности и быстроты внедрения в производство.

Сложность оценки деятельности НИО связана с рядом обстоятельств. Прежде всего это многоцелевой характер самой деятельности, определяемый поставленными задачами, которые должны быть решены при проведении научных исследований и подлежат оценке. Оценка эффективности научно-исследовательской деятельности необходима при прогнозировании и планировании тематики, распределении бюджетных средств и ресурсов для финансирования перспективных исследований, поиске потенциальных инвесторов, контроле вышестоящими органами и в ряде других случаев.

Обычно под эффективностью подразумевают относительный эффект, результативность какой-либо деятельности, определяемые как отношение результата к затратам, обусловившим его получение. Критерий оценки - признак, на основании которого формируется оценка какого-либо вида деятельности. Оценка эффективности деятельности НИО предполагает оценку всех видов эффектов, возникающих в результате проведения фундаментальных и прикладных научных исследований в условиях рынка.

При подходе к измерению эффективности деятельности НИО на основе системного анализа необходимо сформулировать перечень частных показателей, характерных (типовых) для разнородных видов, разработать унифицированные измерительные шкалы и обосновать способ (алгоритм) сведения разнородных показателей в один интегральный обобщенный показатель эффективности [18].

При формировании системы показателей для оценки эффективности деятельности НИО следует исходить из того, что научные исследования ведутся в двух направлениях: разработка фундаментальных проблем науки и разработка прикладных научных проблем. Выбор и определение состава показателей представляется наиболее важным этапом формирования системы оценки эффективности деятельности НИО. От состава и значения каждого из показателей, которые будут учитываться при оценке эффективности деятельности НИО, во многом будет зависеть ее результативность.

Совокупность включенных в систему показателей можно условно разделить на две категории, отражающие наиболее важные аспекты деятельности НИО: научно-технические и экономические. Внутри каждой категории выделим основные подгруппы показателей, характеризующие конкретные аспекты научной деятельности отдельного подразделения

или НИО в целом. Критерии, которые предъявляются к системе оценочных показателей, должны отвечать определенным требованиям, важнейшими из которых являются представительность, критичность к оцениваемым параметрам, возможность количественного выражения, максимальная простота, возможность агрегирования и дезагрегирования, однозначность получаемых результатов [18].

Учитывая специфику разных НИО, предлагается включить в систему показателей для оценки эффективности их деятельности следующие группы оценочных показателей:

1) показатели оценки эффективности научно-технической деятельности НИО и их подразделений:

- научно-технический потенциал отдельного подразделения и НИО в целом;

- целевая ориентация выполняемых подразделением НИОКР;

- возможность коммерциализации результатов НИОКР;

- влияние на экологию и другие риски научно-технической деятельности подразделения и (или) НИО в целом;

- взаимодействие с национальными и международными НИО;

2) показатели оценки эффективности экономической деятельности НИО и их подразделений:

- экономическая эффективность деятельности научного подразделения и НИО в целом;

- возможность продвижения на рынок результатов НИОКР, выполняемых подразделением и НИО в целом;

- конкурентоспособность отдельного подразделения и НИО в целом;

- социальный эффект, связанный с выполнением НИОКР отдельным подразделением и (или) НИО в целом;

- наличие заказчиков и спонсоров НИОКР, выполняемых подразделением и НИО в целом [6].

Рассмотрим основные составляющие, характеризующие указанные показатели и позволяющие получить их количественные или качественные оценки.

Научно-технический потенциал отдельного подразделения и НИО в целом характеризуется: - общей численностью сотрудников, числом докторов и кандидатов наук, а также вспомогательного персонала среди них;

- количеством защищенных докторских и кандидатских диссертаций;

- количеством лабораторий, конструкторских бюро, компьютерных центров и других структур, осуществляющих научно-техническую деятельность.

- Целевая ориентация выполняемых подразделе -нием НИОКР характеризуется:

- количеством запланированных НИОКР;

- количеством выполненных НИОКР в отчетном периоде;

- количеством работ по научно-техническому содействию другим структурам НИО;

- количеством выполненных НИОКР с положительным результатом;

- количеством выполненных НИОКР с отрицательным результатом.

Возможность коммерциализации результатов НИОКР, выполняемых подразделением, характеризуется:

- количеством исследований и разработок, выполненных на уровне открытий и изобретений;

- количеством законченных НИОКР, результаты которых соответствуют мировым стандартам;

- количеством полученных авторских свидетельств;

- количеством поданных заявок на изобретения;

- количеством запатентованных изобретений;

- количеством проданных лицензий;

- количеством публикаций в отечественных и зарубежных рецензируемых изданиях;

- количеством публикаций на одного сотрудника НИО;

- количеством работ, получивших премии, награды, дипломы на мировом или государственном уровне.

Влияние на экологию и другие риски научно-технической деятельности подразделения и (или) НИО в целом характеризуются через промежуточные значения шкал ожидаемого эффекта, которые могут быть сформулированы следующим образом:

- до 1 - отсутствие влияния на окружающую среду;

- от 1 до 3 - слабое влияние на окружающую среду;

- от 3 до 5 - допустимое влияние;

- от 5 до 7 - удовлетворительное (среднее влияние) на окружающую среду;

- от 7 до 9 - высокое влияние на окружающую среду;

- от 9 до 10 - очень высокое влияние на окружающую среду.

Взаимодействие с национальными и международными НИО характеризуется:

- количеством работ, выполняемых на региональном уровне;

- количеством работ, выполняемых на национальном уровне;

- количеством работ, выполняемых на мировом уровне;

- количеством работ, выполняемых совместно с другими организациями.

Экономическая эффективность деятельности научного подразделения и НИО в целом характеризуется:

- объемом полученного годового экономического эффекта от внедренных НИОКР;

- текущими затратами на содержание отдельного подразделения или НИО в целом;

- объемом фактического экономического эффекта в расчете на одного научного сотрудника НИО;

- объемом фактического эффекта на одну внедренную или выполненную работу;

- величиной возможного убытка от невыполнения работы или объемом необратимых потерь в результате этого;

- затратами на проведение фундаментальных исследований.

Возможность продвижения на рынок результатов НИОКР, выполняемых подразделением и НИО в целом, характеризуется:

- общим количеством завершенных НИОКР;

- общим количеством внедренных разработок;

- количеством завершенных договоров по передаче научных разработок в производство;

- количеством внедренных работ в государственной сфере и отраслях промышленности;

- количеством внедренных работ в других странах.

Конкурентоспособность отдельного подразделения и НИО в целом характеризуется:

- наличием конкурентной среды;

- наличием конкурентов по аналогичным тематикам;

- наличием преимуществ перед конкурентами;

- наличием преимуществ у конкурентов. Социальный эффект, связанный с выполнением

НИОКР отдельным подразделением и (или) НИО в целом, характеризуется:

- увеличением числа рабочих мест в НИО;

- улучшением условий труда в НИО (снижение шумов, вибрации, запыленности и воздействия других неблагоприятных факторов). Наличие заказчиков и спонсоров НИОКР,

выполняемых подразделением и НИО в целом, характеризуется:

- количеством НИОКР, которые имеют заказчиков (государственных или коммерческих);

- количеством НИОКР, которые имеют инвесторов или спонсоров;

- общим ожидаемым объемом поступления инвестиций;

- используемыми для финансирования НИО инструментами;

- способностью деятельности НИО быть самоокупаемой.

На основе оценки результативности деятельности НИО появляется возможность отнести каждую организацию к одной из следующих категорий:

- организации - лидеры в прорывных направлениях научных исследований;

- стабильные организации, которые уверенно демонстрируют хорошие результаты;

- организации, утратившие перспективы развития.

Такое распределение научных организаций позволит на государственном уровне реально оценить деятельность НИО и определить перспективные направления научных исследований, а также принять соответствующие управленческие решения по развитию научно-исследовательской деятельности. При этом государство обладает организационно-экономическими механизмами, позволяющими в определенной степени регулировать не только склонность научных исследований к инновациям, но и их перспективную направленность. Наличие развитой структуры высокоэффективных научно-исследовательских организаций относится к коренным интересам любого государства, поскольку

позволяет применять передовые достижения науки и техники для улучшения жизненного уровня населения, повышения конкурентоспособности отечественных товаров на внутреннем и внешнем рынках, укрепления обороноспособности страны.

Модель и методика многокритериальной оценки эффективности и уровня инновационности исследовательской деятельности научных организаций

Для масштабной технологической модернизации отечественной экономики требуется радикальное повышение эффективности инновационной деятельности научных организаций и концентрация научного потенциала на приоритетных направлениях научно-технического развития, а также формирование инструментов и механизмов взаимодействия всех участников инновационной деятельности [3]. Для решения этой задачи государственные расходы на научные исследования в последние годы постоянно растут (табл. 1) [12]. Однако одной из проявившихся в последнее время проблем модернизации страны стал дефицит готовых к коммерциализации инновационных проектов, способных обеспечить прорыв в одном из перспективных направлений научно-технологического развития.

Указанные обстоятельства предопределяют необходимость разработки новых методов формализации и экономико-математических моделей для анализа и оценки эффективности инновационной деятельности научных организаций с использованием современных инструментальных средств. Это позволит повысить оперативность и качество управленческих решений в сфере научных исследований, эффективность инновационной деятельности научных организаций, а также будет способствовать развитию их инновационного потенциала и его воплощению в конкретные результаты научно-технической деятельности.

Таблица 1

Расходы федерального бюджета на НИОКР в России в 2000-2011 гг.

Показатель 2000 2005 2007 2008 2009 2010 2011

Фундаментальные исследования, млн руб. 8 219,3 32 025,1 54 769,4 69 735,8 83 198,1 82 172,0 91 684,5

Прикладные научные исследования, млн руб. 9 177,1 44 884,2 77 934,0 92 380,1 135 859,5 155 472,0 222 214,8

К расходам федерального бюджета, % 1,69 2,19 2,22 2,14 2,27 2,35 2,87

К ВВП, % 0,24 0,36 0,40 0,39 0,56 0,53 0,57

В мировой экономике накоплен значительный опыт в сфере управления научными исследованиями и реализации их результатов в процессе инновационной деятельности. В развитых странах ежегодный объем расходов на научные исследования в абсолютном и в относительном выражении является достаточно высоким. В том числе по фундаментальным исследованиям он составляет в среднем 10-20 % от общих расходов на научные исследования и разработки. При этом доля расходов на научные исследования и разработки в ВВП развитых стран доходит до 3 %, а в отдельных государствах и превышает 3 % (табл. 2) [2].

В странах ЕС приоритетными задачами являются развитие в регионах наукоемких производств и инновационное расширение сферы услуг. Для анализа инновационной деятельности и разработки стратегий привлечения инвестиционных ресурсов для проведения НИОКР зарубежные исследователи (Р. Винтер, Н. Галлини, М. Катц, Д. Сен, Я. Тауман и др.) широко используют экономико-математические методы и динамические некооперативные игровые модели в классе ситуаций равновесий Нэша и Штакельберга [11]. Однако эти модели очень чувствительны к исходным положениям выбираемых стратегий и принятым в них ограничениям. Поэтому большинство из них не позволяет разработать даже относительно оптимальных решений.

Кроме того, слабая формализация инновационной деятельности НИО не позволяет использовать для ее моделирования современный математический инструментарий. Это подтверждается следующими фактами:

- математические методы и модели согласования интересов (теория игр, теория оптимизации, теория активных систем и др.), а также дру-

гие вопросы моделирования инновационной деятельности использовались менее чем в 1 % научных работ;

- математические и инструментальные методы анализа инновационной деятельности использовались менее чем в 0,5 % научных исследований;

- доля публикаций, в которых представлен математический инструментарий моделирования инновационной деятельности НИО, ничтожно мала в общей массе научных исследований по проблемам развития инновационной экономики [5].

Это подтверждает актуальность проблемы разработки новых математических моделей, методик и инструментальных средств для многокритериальной оценки эффективности и уровня инновацион-ности деятельности НИО.

Начальным этапом применения существующих и разработки новых математических методов и инструментальных средств для моделирования инновационной деятельности НИО станет функциональный анализ ее предметной области. В его основу будет положена формализация процессов фундаментальных и прикладных научных исследований, а также результатов инновационной деятельности НИО. Инновационная деятельность по своей сути проявляется в слабо структурированных процессах проведения научных исследований, формализация которых позволит разрабатывать экономико-математические модели и использовать математический инструментарий для решения проблемы.

Рассматривая инновационную деятельность в качестве объекта управления, следует учитывать совокупность латентных (не проявляющихся внешне) переменных, которые не могут быть непосредственно измерены и не поддаются управляющим воздейс-

Таблица 2

Расходы на фундаментальные исследования (ФИ) и НИОКР в целом по отдельным странам в 2010 г.

Страна Фундаментальные исследования НИОКР в целом Доля фундаментальных исследований в НИОКР, °%

Млрд евро К ВВП, % Млрд евро К ВВП, °%

США 47,0 0,46 275,5 2,69 17

Япония 15,1 0,42 121,4 3,36 12

Франция 11,0 0,57 43,4 2,24 25

Южная Корея 5,2 0,73 28,6 4 18

Италия 5,0 0,32 19,6 1,26 26

Китай 2,8 0,08 60,9 1,7 5

Великобритания 2,7 0,16 30,7 1,8 9

Россия 2,0 0,18 13 1,11 15

Австрия 1,4 0,51 7,5 2,71 19

Дания 1,2 0,52 7,3 3,07 17

твиям. В основном они определяются следующими обстоятельствами: значительная обособленность науки от сферы производства; наличие длительного временного периода между получением научного результата и его практическим использованием; отсутствие унифицированного подхода к формализации научной продукции по видам, формам реализации и фактического учета уровня ее инновационности.

Для моделирования инновационной деятельности НИО воспользуемся подходом, описанным в работе [7]. Он основан на переходе от латентных переменных к эквивалентным им агрегированным переменным, которые достаточно легко измерять. Условие такого перехода следующее: max flp (xi,..., xk)

X eXt ;i=1,...,k

max fap[vl (Xi,..., xk),..., vn (x1,..., xk)];

Vj eVj ; j=1,...,n

qlp(xi,...,xk) > 0 qap[Vi(xi,...,xk),...,Vn(x,...,xk)] > 0;

где xt e Xt,i = 1,...,k - латентные переменные, характеризующие особенности инновационной деятельности;

Vj eVj, j = 1,...,n - агрегированные переменные, позволяющие учитывать особенности инновационной деятельности; flp (x,..., xk), fap [Vi (x,..., xk),..., Vn (x,..., xk)] функции, определяющие результат инновационной деятельности в латентных и агрегированных переменных соответственно;

q'p (xi,..., xk ), qap [Vi (xi,..., xk X... Vn (xi,..., xk )] -ограничения значений латентных и агрегированных переменных соответственно. В зависимости от затрат, реакции рынка, действий конкурентов и проводимой государством политики поддержки инновационной деятельности НИО [1] ее экономический результат будет определяться полученной прибылью P t.

Основой формирования модели для оценки эффективности и уровня инновационности деятельности НИО будет формализация ее составляющих. Для этого выразим наиболее существенные показатели следующим образом:

- Zt = Zt (ip-i, IRt-i, Zt-i) - объем накопленных знаний в момент времени t, с учетом предыдущих периодов;

- ip = IPt(Rip-i, Zt-i, X) - объем инноваций, находящихся в стадии разработки (проектирования), в момент времени t;

X - параметр, учитывающий неопределенность инновационной деятельности НИО в части разработки новых продуктов и технологий; /Я( = /Я( (Я/Я(1, Щ_1, ц) - инновации, находящиеся в стадии вывода на рынок; ц - возмущения, отражающие неопределенность реакции рынка на технологические инновации;

Шр = Шр (РБ,, Щ_1) - ресурсы, выделяемые на разработку инноваций; ШР = Рр (РБ,, Щ,Щ-1) - ресурсы, выделяемые на вывод инноваций на рынок; Б{ = Б{ (Щ, М{, С{, с) - доход от инновационной деятельности;

М, С, - операторы, характеризующие соответственно реакцию рынка и действия конкурентов на инновации;

у - параметр, учитывающий неопределенность ориентации рынка в конкретный момент времени;

Р, = Р (Б, Б) - прибыль, полученная от инновационной деятельности; G - параметры, характеризующие политику государства в отношении развития инновационной деятельности;

РБ{ = РБ, (р, РБ-1,и) - фонд развития инновационной деятельности НИО, основным источником образования которого является накопленная прибыль за прошедшие периоды, объем которой определяется с учетом ставки дисконтирования и > 0 [6]. Проведенная формализация составляющих инновационной деятельности НИО позволяет сформировать ее экономико-математическую модель Я1Р = {а1БР (1 + а2 )1Р-1, БР > 0},0 < Я1Р < БР; Я1Р = {0,БР < 0},0 < Я1Р < БР;

1Р (Щ, ) = (1 - X) (ЬРР-1 + Ь2 Zt_l), где X - случайная величина, принимающая значения в пределах [0, 1] с равной вероятностью; Рр = {ёхБР (1 + d2 1Р + йъ 1р-1), БР > 0},0 < Рр < БР -РР; Я/Я, = {0,БР < 0},0 < Р1р < БР - РР;

/р (рр, 2) = (1 - цЯ^Р,- (1+д2Р)],(2) где ц - случайная величина, принимающая значения в пределах [0, 1] с равной вероятностью;

= (Р, /Р-,2,-1) = ^/Р^ + + w3 ;

Б( = (1 -с){т/р,т/Я, <М,(1 - с)};

Б, = (1 -с){М, (1 - с), т/р > М( (1 - с)},(3)

(1)

где с - случайная величина, принимающая значения в пределах [0, 1] с равной вероятностью;

Р = (1 -q)(Dt --ШЯ,),PDt =

= (Р + PDt_l )/(1 + и). (4)

Таким образом, разработана многокритериальная математическая модель (1) - (4) для оценки эффективности и уровня инновационности деятельности НИО [6, 7].

Если допустить, что параметры Я, ц, с являются случайными величинами, то в общем случае правомерно принять их распределение в соответствии с равномерным законом. В ходе дальнейших исследований это предположение может уточняться в зависимости от направлений инновационной деятельности конкретных НИО.

Интенсивность инновационной деятельности НИО определяют параметры модели а1, а2, й2, ё3 — 0. Малые значения этих параметров свидетельствуют о незначительном уровне инновационности, а увеличение значений этих параметров свидетельствует о его повышении и активном развитии инновационной деятельности. Неотрицательные значения параметров Ь1, Ь2, q1, q2, w1, характеризуют

эффективность инновационной деятельности, а также эффекты, вызванные процессами накопления и устаревания знаний. Ожидаемую реакцию рынка на инновации характеризует параметр т — 0. Устанавливаемое государством значение ставки налога на прибыль эквивалентно значениям параметра q — 0. Конкурентная среда характеризуется параметром с, который может варьироваться в пределах от 0 до 1. При с = 0 конкуренция отсутствует, а при с = 1 уровень конкуренции максимальный. Параметр М = рМ—1 характеризует уровень текущего потенциала рынка для вывода и реализации инноваций. Параметрр определяет тенденции развития рыночной ситуации под воздействием инновационных продуктов и технологий. При р > 0 рынок имеет тенденцию к повышению, а при р < 0, наоборот, к понижению [7].

Задачи оценки эффективности и уровня инно-вационности деятельности НИО сложны и разнообразны. В большинстве из них в качестве исходных данных используется различное количество оцениваемых критериев, которые характеризируются разнородной по структуре совокупностью показателей. Многочисленность критериальных показателей приводит к проявлению неопределенности нечеткой природы, которая не может быть описана в привычном вероятностном смысле. На этом основании

можно сделать вывод, что модель (1) - (4) обладает рядом специфических особенностей, а именно:

- является многокритериальной;

- критерии и показатели в большинстве случаев носят качественный характер;

- критерии и показатели неравнозначны между собой;

- в процессе оценки критериев и показателей необходимо учитывать мнение различных экспертов;

- оценочные критерии и показатели имеют выраженную иерархическую структуру (отдельные критерии верхнего уровня агрегируются на основе частных критериев нижнего уровня и т. д.) [8].

Эти особенности предопределяют необходимость решения модели (1) - (4) в нечеткой среде и требуют выбора адекватных подходов для оценки эффективности и уровня инновационности деятельности НИО на основе ранжирования оцениваемых объектов, позволяющих учесть нечеткость, качественный характер показателей и лингвистические неопределенности, связанные с формализацией экспертных знаний об инновационной деятельности НИО. Практика показывает, что в таких условиях будет целесообразно использовать инструментарий нечеткой математики.

Разработка методики многокритериальной оценки эффективности и уровня инновационности деятельности НИО предполагает наличие таких элементов, как множество альтернатив; множество критериев и частных показателей для характеристики альтернатив; нормированные шкалы для формализации критериев и частных показателей; выявление коэффициентов относительной важности критериев и частных показателей на основе экспертных оценок; согласованные оценки критериев и частных показателей; выбор правил для многокритериальной оценки и ранжирования альтернатив.

Предлагаемый подход к оценке эффективности и уровня инновационности деятельности НИО базируется на методах принятия решений на основе нечеткой реляционной модели представления знаний. Ее использование позволяет свести процесс принятия решений к задаче выбора наилучшей альтернативы среди возможных, что в свою очередь дает возможность проводить ранжирование альтернатив по обобщенному критерию. Согласно нечеткой реляционной модели представления знаний, если X = (х1, х2,..., хп} = {х 7 = 1, п} - множество альтернатив, которые подлежат оценке и

ранжированию, а К = {кр к2,..., кт} = [к,у = 1, т} -множество критериев для их характеристики, то степень соответствия альтернативы х. критерию к. представляется функцией принадлежности

У-(X)

щ(X,) ^ [0,1],

т. е.

X

K ^ [0,1] [9].

Пусть в нашем случае в качестве альтернатив инновационной деятельности НИО рассматриваются варианты Х= {х х2,..., хп} = [х г = 1, п}, каждый из которых характеризируется множеством неравнозначных критериев К = {кр к2,..., кт} = = [к., ] = 1, т }. При этом, каждый критерий К, входящий в множество критериев К, в свою очередь характеризуется подмножеством частных критериев, т. е. К = {ку1, к.2,..., к.Т} = [к t = 1, Т}, причем элементы этих подмножеств также неравнозначны.

Нашей целью является получение по результатам оценки эффективности и уровня инновацион-ности деятельности НИО упорядоченного списка

вариантов, ранжированных от худшего к лучшему: Х /K ^ Х*, где Х* - упорядоченный список вариантов многокритериальной оценки эффективности и уровня инновационности деятельности НИО.

Для решения задачи будем считать, что

{ф^Л Фk■2(xг),.••, Мхг)} =

= [ф,(х), t = 1,Т,] = 1,т} (5)

функции принадлежности альтернативы х. частным критериям

k, k ,

ji' ,2'

, kjT и (ю

J

ю

JT

} = [юр, t = 1,T} (6)

- коэффициенты относительной важности этих частных критериев. При этом для всех частных к.Т, характеризующих критерий

критериев j j.

Альтернативы K1 м

k11 k1T KM1 K мт

Xi Фк11(Х1> Фк1Т (х1) ФкМ1(х1) Фмт (х1)

X. г ФшСх) Фк1т (x) ФкМ1(х,) Фкмт (x)

X n ФшСО Фк1Т СО ФкмЮ Фмт (Xn)

},n = Фкм (хí), (г = 1,n}

К, удовлетворяется условие ^ = 1.

t=1

Само решение задачи сводится к последовательному выполнению ряда операций [14].

Во-первых, с помощью агрегирования критериев и частных показателей нижнего уровня оценивается каждый критерий верхнего уровня, т. е. на основе условий (5) и (6) построением свертки частных критериев ку1, ку2,...,

к.Т

определяется функция принадлежности альтернативы х. обобщенному критерию К, {у = 1, т} (рис. 1):

Рис. 1. Определение функции принадлежности альтернатив х. (, = 1, n} критериям K. (J = 1, m }

Альтернативы K1 K. j M

Xi ФK1(X1) Ф^ (X1) Фкм (X1)

X. г Фкl(хi) Фк, (X) Фкм (X)

X n Фкl(Xn) ФKj (Xn) ФЖ (Xn)

Фк (x)::' = 1, n

Рис. 2. Определение функции принадлежности альтернатив х. [г = 1, п} обобщенному критерию К на основе функции принадлежности альтернатив критериям

Альтернативы К

w X Фкl(X1)

X1 Фкl(хi)

Xp Фп^п)

Рис. 3. Ранжированный список альтернатив от худшего варианта к лучшему

Фк(X) = Ёю jt %t(X).

t=i

Во-вторых, на основе полученных (ф^. (x),J = 1, m} для всех альтернатив х. (, = = 1, n} определяется функция принадлежности обобщенному критерию K (рис. 2):

m

Фк (х) = Ею j Фк.(X ).

J=1

В-третьих, выбирается альтернатива, у которой степень принадлежности обобщенному критерию K будет максимальной: ф(х*) = = max (фк (х,), г = 1, n}, где n - число альтернатив. Выбранная альтернатива является наилучшей и будет занимать первую позицию в ранжированном списке альтернатив инновационной деятельности научной организации (рис. 3).

Очевидно, что альтернатива с самой низкой оценкой будет занимать последнюю позицию в списке альтернатив, ранжированном от лучше-

го варианта к худшему. Для такой альтернативы хр G Хф(хр) степень принадлежности обобщенному критерию будет минимальной: ф(хр) = min (фк (x), i = 1, N}.

Для оценки и ранжирования альтернатив на основе предложенного метода необходимо определить коэффициенты относительной важности критериев, характеризующих альтернативы, и их частные показатели, а также функцию принадлежности альтернатив частным показателям, т. е. степень удовлетворения альтернатив частным показателям.

Для определения коэффициентов относительной важности критериев и их частных показателей может быть использован метод экспертной оценки, например, по 10-балльной системе, или метод попарного сравнения одновременно рассматриваемых критериев [12, 13].

Для определения функции принадлежности альтернатив частным показателям реализуется математическая формализация частных показателей. Необходимость оперирования с информацией как количественной, так и качественной природы обусловила использование для формализации частных показателей элементов теории нечетких множеств. Такой подход позволяет снять неопределенность и работать с неполной и неточной информацией как качественного, так и количественного характера. По сути, человек при восприятии информации не пользуется конкретными числами, а переводит их в понятия значений лингвистической переменной. Использование нечетких словесных понятий (мало, много, значительно, несколько, большинство и т. д.), которыми оперирует человек, дает возможность ввести в рассмотрение качественные описания и учесть неопределенность решаемой задачи, достигнуть полного описания тех факторов, которые не поддаются точному количественному описанию. При этом значение лингвистической переменной описывается функцией принадлежности, которая индивидуальна для каждого отдельного человека.

Для определения степени удовлетворения альтернатив частным показателям, т. е. функций принадлежности альтернативы х. частным критериям j k/2,..., j где K = (kJV kр..., kjT} = (kjP t = 1, T}, каждому элементу подмножества критериев K присваиваются качественные градации, соответствующие принятым лингвистическим оценкам, и определяются их нечеткие соответствия.

В-четвертых, группа экспертов для каждой градации определяет значения индивидуальных нечетких

оценок из соответствующей области определения, входящей в интервал [0, 1]. Объединение индивидуальных оценок отдельных экспертов в единую коллективную оценку формирует окончательную нечеткую оценку каждой градации. Обычно в качестве правила объединения принимают пересечение нечетких подмножеств, представляющих собой индивидуальные оценки отдельных экспертов. Полученное нечеткое множество выражает количественную оценку изучаемого варианта оценки эффективности и уровня инновационности деятельности НИО [14]. При этом объединение индивидуальных экспертных оценок в коллективную производится не по правилу пересечения нечетких множеств (выбирается минимальная из оценок) или по правилу их объединения (выбирается максимальная из оценок), а представляет собой некоторую новую операцию над такими множествами, а именно их согласованный выбор [10]. Согласно такому подходу итоговую индивидуальную оценку выбирает специальный наиболее квалифицированный эксперт. Очевидно, что такой эксперт в каждой точке области всех полученных альтернатив выберет в качестве меры принадлежности точки коллективной оценки ту из высказанных экспертами мер ее принадлежности индивидуальным оценкам, которая в общем случае равноудалена от крайних оценок и занимает некоторое среднее положение.

Заключение

В результате проведенных исследований был сформирован максимально полный набор показателей, включенных в систему оценки эффективности и уровня инновационности деятельности НИО и их подразделений. Данная система не является конечной по количеству оценочных показателей, так как при формализованной обработке возможно как исключение из состава наименее информативных из них, так и добавление новых. Ее практическое использование позволит изменить ситуацию, когда для принятия управленческих решений применялись субъективные оценки научно-исследовательской деятельности отдельных подразделений или НИО в целом на основе мнения узкого круга оценивающих лиц, в результате чего перспективы научной деятельности определялись не всегда верно, а выход на правильную траекторию развития занимал достаточно много времени.

Выполнена формализация основных составляющих инновационной деятельности НИО с учетом

параметров воздействия внутренней и внешней среды, особенностей накопления и устаревания знаний, вариантов использования новых технологий, стимулирования государством повышения активности инновационной деятельности научных организаций. Кроме того, предложена новая модель оценки эффективности и уровня инновационности деятельности НИО в условиях рыночной конкуренции, адаптированная к существующей методике

Список литературы

1. Бендиков М. А., Хрусталёв О. Е. Некоторые финансовые аспекты реализации научно-промышленной политики // Финансы и кредит. 2007. № 15.

2. Данные статистической службы Европейского союза. URL: http://epp. eurostat. ec. europa. eu/portal.

3. Инновационное развитие: экономика, интеллектуальные ресурсы, управление знаниями: под ред. Б. З. Мильнера. М.: ИНФРА-М, 2009.

4. Ларин С. Н., Жилякова Е. В. Пути совершенствования механизмов независимой экспертизы и финансовой поддержки инициативных научных исследований // Национальные интересы: приоритеты и безопасность. 2011. № 35.

5. Ларин С. Н., Жилякова Е. В. Организационные структуры и интеграционные формы науки и бизнеса как фактор стимулирования инновационной деятельности на региональном уровне // Национальные интересы: приоритеты и безопасность. 2012. № 19.

6. Ларин С. Н., Жилякова Е. В. Формализация составляющих инновационной деятельности и разработка обобщенной модели взаимодействия ее участников // Materialy IX Mi^dzynarodowej naukowi-praktycznej konferencji «Strategiczne pytania s wiatowej nauki - 2013», vol. 5. Ekonomiczne nauki: Przemysl. Nauka i studia (материалы VIII Международной научно-практической конференции «Стратегические вопросы мировой науки - 2013»).

7. Ларин С. Н., Жилякова Е. В. Моделирование взаимодействия участников инновационной деятельности // Экономический анализ: теория и практика. 2013.№ 11.

8. Ларин С. Н., Лазарева Л. Ю., Островский С. М. Формализованная модель и методика многокритериальной оценки эффективности инновационной деятельности научных организаций // Инновации в науке: м-лы XVIII междун. заочн. науч. -практ. конф. 25.03.2013. Новосибирск: СибАК, 2013.

многокритериальной иерархической оценки качества в условиях неопределенности. Предложенные модель и инструментарий многокритериальной оценки эффективности и уровня инновационности деятельности НИО могут использоваться в научных организациях при наличии утвержденной системы критериальных показателей оценки и определении их весовых значений с использованием соответствующих методов.

9. Левин В. И. Новое обобщение операции над нечеткими множествами // Известия Академии Наук. Теория и системы управления. 2001. № 1.

10. Орлов А. И. Прикладная статистика. М.: Экзамен, 2006.

11. Оценка эффективности научной, научно-технической и инновационной деятельности: под ред. Л. Ф. Шайбаковой, М. А. Рожковой. Екатеринбург: УрГЭУ, 2007.

12. Россия в цифрах - 2013: стат. сб. URL: http:// www. gks. ru/bgd/regl/b13_11/IssWWW. exe/Stg/d2/ 22-07.htm.

13. Ротштейн А. П., Штовба С. Д. Нечеткий многокритериальный анализ вариантов с применением парных сравнений // Известия Академии Наук. Теория и системы управления. 2001. № 3.

14. Рудцкая Е. Р., Хрусталёв Е. Ю., Цыганов С. А. Российский фонд фундаментальных исследований и инновационное развитие экономики России // Экономическая наука современной России. 2007. № 2.

15. Рудцкая Е. Р., Хрусталёв Е. Ю., Цыганов С. А. Методы накопления научного знания для инновационного развития российской экономики (опыт РФФИ) // Проблемы прогнозирования. 2009. № 3.

16. Стебеняева Т. В., Жилякова Е. В. Анализ существующих методических подходов к оценке эффективности научной деятельности // Наука и современность - 2013: сб. м-лов XX междун. науч.-практ. конф.; под ред. С. С. Чернова. Новосибирск: СИБПРИНТ, 2013. 301 с.

17. Тихонов И. П., Петровский А. Б. Фундаментальные исследования, ориентированные на практический результат: подходы к оценке эффективности // Вестник Российской академии наук. 2009. Т. 79. № 11.

18. Тихонов И. П., Хрусталёв Е. Ю. Эффективный механизм результатов фундаментальной науки в инновационном процессе // Экономическая наука современной России. 2006. № 3.

19. Хрусталёв Е. Ю., Ларин С. Н. Использование информационных ресурсов и технологий для стимулирования инновационного развития экономики // Национальные интересы: приоритеты и безопасность. 2011. № 32.

20. Хрусталёв Е. Ю., Хрусталёв О. Е. Модельное обоснование инновационного развития науко-

References

1. Bendikov M. A., Khrustalev O. E. Some financial aspects of the implementation of scientific and industrial policy [Nekotorye finansovye aspekty realizatsii nauchno-promyshlennoi politiki], Finansy i kredit - Finance and Credit, 2007, no. 15.

2. These statistical office of the European Union, Available at: http://epp. eurostat.ec.europa.eu/portal.

3. Innovative development: economy, intellectual resources, knowledge management [Innovatsionnoe razvitie: ekonomika, intellektual'nye resursy, upravle-nie znaniiami], ed. B. Z. Milner, Moscow: INFRA-M, 2009.

4. Larin S. N., Zhiliakova E. V. Ways to improve the mechanisms for independent experts - testing and financial support of the action research [Puti sover-shenstvovaniia mekhanizmov nezavisimoi ekspertizy i finansovoi podderzhki initsiativnykh nauchnykh issledovanii], Natsional 'nye interesy: prioritety i bezo-pasnost' - National interests: priorities and security, 2011, no. 35.

5. Larin S. N., Zhiliakova E. V. Organizational structures and forms of integration of science and business as a factor stimulating innovation at the regional level [Organizatsionnye struktury i integratsionnye formy nauki i biznesa kak faktor stimulirovaniia in-novatsionnoi deiatel'nosti na regional'nom urovne], Natsional'nye interesy: prioritety i bezopasnost'- National interests: priorities and security, 2012, no. 19.

6. Larin S. N., Zhiliakova E. V. The system of indicators to assess the effectiveness of the activities of the research organizations [Formalizatsiia sostav-liaiushchikh innovatsionnoi deiatel'nosti i razrabotka obobshchennoi modeli vzaimodeistviia ee uchast-nikov], Actual problems of science: proceedings of the VIII International scientific-practical conference, Moscow: Sputnik, 2013. 192 p.

7. Larin S. N., Zhiliakova E. V. Modelling the interaction of innovators [Modelirovanie vzaimodeistviia uchastnikov innovatsionnoi deiatel'nosti], Ekonom-icheskii analiz: teoriia ipraktika - Economic analysis: theory and practice, 2013, no. 11.

емкого сектора российской экономики // Экономический анализ: теория и практика. 2013. № 9.

21. Bellman R., Zadeh L. A. Decision - makingin fuzzy invironment // Manаgement Science, 1970. Vol. 17. P. 141-164.

8. Larin S. N., Lazareva L. Iu., Ostrovskii S.M. Formalized model of multi-criteria evaluation methods and the effectiveness of innovation scientific organizations [Formalizovannaia model' i metodika mnogokriterial'noi otsenki effektivnosti innovatsionnoi deiatel'nosti nauchnykh organizatsii], Innovations in Science: proceedings of the XVIII International extramural scientific-practical conference, Novosibirsk: SibAK, 2013, 148 p.

9. Levin V. I. New generalization of operations on fuzzy sets [Novoe obobshchenie operatsii nad nechet-kimi mnozhestvami], Izvestiia Akademii Nauk. Teoriia i sistemy upravleniia - Proceedings of the Academy of Sciences. Computer and Systems, 2001, no. 1.

10. Orlov A.I. Applied statistics [Prikladnaia sta-tistika], Moscow: Ekzamen, 2006.

11. Evaluating the effectiveness of scientific, technological and innovation [Otsenka effektivnosti nauchnoi, nauchno-tekhnicheskoi i innovatsionnoi deiatel'nosti], ed. L. F. Shaibakova, M.A. Rozhkova, Yekaterinburg: USUE, 2007.

12. Russia by the Numbers - 2013 [Rossiia v tsifrakh - 2013]: statistical collection, Available at: http://www. gks. ru/bgd/regl/b13_11/IssWWW. exe/ Stg/d2/22-07.htm.

13. Rotshtein A. P., Shtovba S. D. Fuzzy multi-criteria analysis of options with the application of paired comparisons [Nechetkii mnogokriterial'nyi analiz variantov s primeneniem parnykh sravnenii], Izvestiia Akademii Nauk. Teoriia i sistemy upravleniia - Proceedings of the Academy of Sciences. Computer and Systems, 2001, no. 3.

14. Rudtskaia E. R., Khrustalev E. Iu., Tsyganov S. A. Russian Foundation for Basic Research and innovation development in Russia [Rossiiskii fond fundamental'nykh issledovanii i innovatsionnoe razvitie ekonomiki Rossii], Ekonomicheskaia nauka sovre-mennoi Rossii - Economics of contemporary Russia, 2007, no. 2.

15. Rudtskaia E. R., Khrustalev E. Iu., Tsyganov S. A. Methods accumulation of scientific knowledge for innovative development of the Russian economy

(RFBR experience) [Metody nakopleniia nauch-nogo znaniia dlia innovatsionnogo razvitiia rossiiskoi ekonomiki, opyt RFFI], Problemy prognozirovaniia -Problems of forecasting, 2009, no. 3.

16. Stebeniaeva T. V., Zhiliakova E. V. Analysis of the existing methodologies for assessing the effectiveness of research activities [Analiz sushchestvuiushchikh metodicheskikh podkhodov k otsenke effektivnosti nauchnoi deiatel'nosti], Science and Present - 2013: compendium of XX International Scientific and Practical Conference, ed. S. S. Chernoff. Novosibirsk: SIBPRINT, 2013. 301 p.

17. Tikhonov I. P., Petrovskii A. B. Basic research focused on the bottom line: approaches to evaluating the effectiveness [Fundamental'nye issledovaniia, orientirovannye na prakticheskii rezul'tat: podkhody k otsenke effektivnosti], Vestnik Rossiiskoi akademii nauk - Bulletin of the Russian Academy of Sciences, 2009, vol. 79, no. 1.

18. Tikhonov I. P., Khrustalev E. Iu. An effective mechanism for the results of basic science in the in-

novation process [Effektivnyi mekhanizm rezul'tatov fundamental'noi nauki v innovatsionnom protsesse], Ekonomicheskaia nauka sovremennoi Rossii - Economics of contemporary Russia, 2006, no. 3.

19. Khrustalev E. Iu., Larin S.N. Use of information resources and technology to promote innovative development of economy [Ispol'zovanie informat-sionnykh resursov i tekhnologii dlia stimulirovaniia innovatsionnogo razvitiia ekonomiki], Natsional'nye interesy: prioritety i bezopasnost '- National interests: priorities and security, 2011, no. 32.

20. Khrustalev E. Iu., Khrustalev O. E. Model study of innovative development of high-tech sectors of the Russian economy [Model'noe obosnovanie innovatsionnogo razvitiia naukoemkogo sektora rossiiskoi ekonomiki], Ekonomicheskii analiz: teoriia i praktika - Economic analysis: theory and practice, 2013, no. 9.

21. Bellman R., Zadeh L. A. Decision - makingin fuzzy invironment, Management Science. 1970, vol. 17,pp.141-164.