Способы комплексной оценки объектов научной и инновационной инфраструктуры в целях оказания государственной поддержки Текст научной статьи по специальности «Экономика и бизнес»

II. Инновационная политика и проблемы развития

национальной инновационном системы

Изосимов Владимир Юрьевич

зам. директора РИЭПП, зав. отделом мониторинга и оценки организаций в сфере науки и инноваций. Тел. (495) 917-86-66, info@riep.ru

Напреенко Владислав Георгиевич

кандидат технических наук, ведущий научный сотрудник сектора мониторинга состояния и тенденций развития организаций сферы науки и инноваций РИЭПП.

Тел. (495) 917-86-66, info@riep.ru

СПОСОБЫ КОМПЛЕКСНОЙ ОЦЕНКИ ОБЪЕКТОВ НАУЧНОЙ И ИННОВАЦИОННОЙ ИНФРАСТРУКТУРЫ В ЦЕЛЯХ ОКАЗАНИЯ ГОСУДАРСТВЕННОЙ ПОДДЕРЖКИ1

Изменение сложившейся структуры российской экономики в пользу высокотехнологических секторов и экономики знаний предполагает наличие адекватной научной и инновационной инфраструктуры. Инфраструктура является одним из базовых элементов национальной исследовательской и инновационной системы, выполняющим роль материального ресурса, обеспечивающего конкурентоспособность исследований и разработок, в том числе, на мировом уровне, а так же способствующего трансферу полученных результатов в реальную экономику. При этом создание и развитие научной и инновационной инфраструктуры сегодня невозможны без участия государства. При целевой поддержке государства создаются, как правило, такие объекты научной и инновационной инфраструктуры, как: технологические парки, инновационно-технологические центры, инновационно-промышленные комплексы, центры коллективного пользования (образующие так называемую технологическую составляющую инфраструктуры)2. Подобная практика характерна практически для всех развитых стран. В России основные инфраструктурные

1 Работа выполнена при поддержке РГНФ (проект № 10-02-00652а).

2 Приведены основные виды организаций инфраструктуры по типу предоставляемых услуг. Иногда, дополнительно, выделяются такие инфраструктурные объекты, как: бизнес-инкубаторы, инжиниринговые центры, технико-внедренческие центры, технологические кластеры [1, 2], центры сертификации, центры трансфера технологий, центры научно-технической информации, центры инновационного консалтинга [3]. Однако группировка инфраструктурных объектов никоим образом не меняет существа вопроса и находится вне контекста данной статьи.

объекты также были созданы (или создаются) и развиваются при государственной финансовой поддержке.

Необходимость такой поддержки со стороны государства не вызывает сомнений, вместе с тем, очевидна необходимость оценки эффективности мер государственной поддержки (прежде всего, финансовой) развития научной и инновационной инфраструктуры. Эффективность господдержки определяется, в том числе, способом оценки деятельности таких инфраструктурных объектов. Причем, в условиях ограниченности бюджетных ресурсов и невозможности оказания одновременной поддержки всем объектам - необходимы методы оценки, дающие возможность сравнения (с целью выбора для оказания финансовой поддержки) объектов научной и инновационной инфраструктуры.

Однако в настоящее время оценка деятельности объектов научной и инновационной инфраструктуры в основном носит эмоциональный характер, определяемый контекстом оценки. Например, часто в статьях или выступлениях можно встретить высказывание типа: - участие государства в создании того или иного объекта не является высоко эффективным. Но каким способом эффективность была измерена? В лучшем случае подобные оценки можно считать мнением того или иного эксперта. Даже если предположить, что такие оценки справедливы в принципе, они не могут быть подтверждены расчетным путем, и тем более не позволяют решить задачу сравнения нескольких объектов. Иногда для этих целей предлагается использование методов экспертных оценок (см., например, материалы круглого стола «Механизмы и критерии оценки деятельности научного учреждения» 17 июля 2006 г. [4]). Методы экспертных оценок, безусловно, применимы (и даже желательны) при оценке объектов научной инфраструктуры, однако они являются весьма затратными и трудоемкими, сложными в организации.

В данной статье предлагается методический подход к решению поставленной задачи, позволяющий избежать подобных недостатков.

Предварительно необходимо сделать несколько общих замечаний.

1. Целевая государственная поддержка объектов научной и инновационной инфраструктуры из средств федерального бюджета осуществляется в целях развития национальной инновационной системы, а не в целях извлечения прибыли. Т. е. средства бюджета, направляемые на указанные цели, не являются инвестициями - вложением капитала с целью его приумножения. Следовательно, при оценке эффективности деятельности инфраструктурных объектов не могут использоваться методы оценки эффективности инвестиций, основанные на анализе будущей доходности.

2. При оценке эффективности деятельности инфраструктурных объектов в дальнейшем будем исходить из следующего определения понятия эффективность.

Эффективность - полезный результат какой-либо деятельности, характеризуемый системой показателей, отражающих степень достижения целей этой деятельности.

В соответствии с таким определением оценка эффективности деятельности инфраструктурных объектов осуществляется на основе оценки степени достижения целей их создания и функционирования.

3. Предлагаемый способ оценки является сравнительным, т.е. позволяет сравнивать (например, в целях отбора) инфраструктурные объекты, однако не дает абсолютных оценок.

При этом возможно использовать два варианта расчета:

• сопоставление в рамках группы реальных инфраструктурных объектов (например, рассматривая группу организаций, родственных по профилю деятельности, можно найти среди них наилучшие и наихудшие по показателям деятельности)

• сопоставление с эталонными инфраструктурными объектами (такой способ позволяет получить результаты, до некоторой степени аналогичные результатам абсолютной оценки).

Выбор сравнительного способа оценки устраняет трудности, обусловленные разнокачественным характером показателей инфраструктурных объектов.

К преимуществам подхода можно отнести использование ранговых шкал измерений. Такой подход необходим для устранения эффекта несопоставимости равных различий показателей и широко используется в теории измерений.

Предлагаемый подход позволяет получить сводную ранговую оценку деятельности инфраструктурных объектов, а также приближенные ранговые оценки отдельных сторон деятельности (кадровый потенциал, техническая оснащенность, информационная активность, подготовка кадров, научный уровень, результативность работ, эффективность использования кадрового потенциала, эффективность использования технического оснащения).

Процесс оценки эффективности деятельности инфраструктурных объектов в соответствии с предлагаемым подходом продемонстрируем на примере центров коллективного пользования научным оборудованием (ЦКП), на сегодняшний день являющихся, пожалуй, наиболее работоспособными и эффективно действующими инфраструктурными объектами в российской научно-технической сфере. Поддержка и развитие сети ЦКП осуществляются Минобрнауки России, начиная с 2005 года (подробно о развитии сети ЦКП см. в работах [5], [6]).

Процесс оценки на основе предлагаемого подхода складывается из трех этапов:

Этап 1. Подготовка исходных данных

• определяется группа3 инфраструктурных объектов (в нашем примере - группа ЦКП), в рамках которой должно быть проведено оценивание,

• устанавливаются исходные показатели каждого объекта, входящего в рассматриваемую референтную группу,

3 Референтная группа - совокупность объектов, избираемых в качестве базы сравнения.

• при необходимости - проводится экспертный контроль достоверности данных и коррекция данных.

Этап 2. Расчет ранговых оценок инфраструктурных объектов

Ранговые оценки определяются в следующей последовательности:

• кадровый потенциал,

• техническая оснащенность,

• информационная активность,

• подготовка кадров,

• научный уровень,

• результативность работ,

• эффективность использования кадрового потенциала,

• эффективность использования технического оснащения,

• сводная оценка деятельности

Этап 3. Анализ результатов. При необходимости - меняются условия расчета и осуществляется возврат к ранее выполненным операциям.

Рассмотрим подробнее этапы оценки эффективности деятельности инфраструктурных объектов. Этап 1.

1.1. Референтная группа, в рамках которой проводится оценка

Некорректно осуществлять сравнительную оценку заведомо несравнимых инфраструктурных объектов. Так, центры коллективного пользования могут иметь существенные различия, определяемые видами и условиями деятельности, стоимостью оборудования и требованиями к персоналу.

Поэтому сравнения будут корректными только внутри (референтных) групп сопоставимых по деятельности, требованиям к оборудованию и персоналу ЦКП.

Состав групп должен определяться экспертно, либо на основе экс-пертно установленных (рамочных) условий.

В нашем примере в качестве таких (естественных) групп сравнивались ЦКП, участвующие конкурсе по мероприятию 5.2 федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы» по одному лоту.

Для сопоставления с эталонными ЦКП могут использоваться условные Центры. Например, экспертным путем для каждого из показателей, характеризующих деятельность ЦКП, могут быть заданы три значения: «наилучшее из худших», «наилучшее их удовлетворительных» и «наихудшее из лучших». Тем самым определятся три условных ЦКП, показатели которых будут иметь соответственно значения «наилучшее из худших», «наилучшее их удовлетворительных» и «наихудшее из лучших». Добавив к этим эталонным Центрам реальный ЦКП, получим группу, в рамках которой, сравнивая ранговые оценки реального ЦКП с ранговыми оценками трех условных, легко будет отнести деятельность реального ЦКП к одной из четырех градаций:

• «плохо» (не лучше, чем у «наилучшего из худших»),

• «удовлетворительно» (лучше, чем у «наилучшего из худших», но не лучше, чем у «наилучшего их удовлетворительных»),

• «хорошо» (лучше, чем у «наилучшего их удовлетворительных», но хуже, чем у «наихудшего их отличных»),

• «отлично» (не хуже, чем у «наихудшего их отличных»). 1.2. Исходные показатели инфраструктурных объектов Показатели кадрового потенциала

А1 - число докторов наук в составе организации, среднегодовое за период;

А2 - число кандидатов наук в составе организации, среднегодовое за период;

А3 - число сотрудников организации, среднегодовое за период. Показатели технической оснащенности

В1 - стоимость оборудования ЦКП, млн. руб, среднегодовая по данным на начало каждого года за период;

В2 - число дорогостоящих прецизионных аналитических приборов и средств измерений, используемых ЦКП, среднегодовое по данным на начало каждого года за период;

В3 - размер производственных площадей, закрепленных за ЦКП, средний по данным на начало каждого года за период.

Общие показатели финансирования и результативности работ С1 - объем средств, полученных ЦКП по мероприятиям ФЦП, среднегодовой за период;

С2 - число организаций-пользователей, среднегодовое за период; С3 - число грантов российских и международных фондов и организаций, полученных для проведения НИР и НИОКР с использованием оборудования ЦКП.

Показатели информационной активности

Для учета информационной активности используется число публикаций, подготовленных с использованием оборудования инфраструктурного объекта (в нашем примере - ЦКП), среднегодовое за период: D1 - монографии,

D2 - статьи во всероссийских изданиях, D3 - статьи в зарубежных журналах, D4 - доклады.

Показатели подготовки кадров на базе инфраструктурного объекта Для учета подготовки кадров на базе ЦКП целесообразно использовать

1) Число квалификационных работ, подготовленных с использованием оборудования ЦКП, среднегодовое за период:

Е1 - докторские диссертации, Е2 - кандидатские диссертации, Е3 - дипломные работы.

2) Число аспирантов и студентов, привлеченных для выполнения научных исследований на базе ЦКП, среднегодовое за период:

Е4 - аспирантов, Е5 - студентов.

Если инфраструктурный объект существует 1-2 года, то этот период следует принять в качестве расчетного. В общем случае за расчетный период принимаются три последние года, по которым имеются данные. При недостатке данных в качестве расчетного периода может использоваться один год.

Использование среднегодовых значений за расчетный период призвано сгладить влияние случайных колебаний значений показателей.

Перечисленные исходные показатели характеризуют степень реализации одной или нескольких целей функционирования того или иного типа инфраструктурных объектов (в примере - сети ЦКП), что иллюстрирует следующая таблица.

Таблица. Соответствие исходных показателей оценки ЦКП целям функционирования сети центров коллективного пользования

Цели создания и деятельности ЦКП Показатели ЦКП, отражающие выполнение поставленных целей

Обеспечение научных организаций России дорогостоящим научным оборудованием. Развитие материально-технической базы ЦКП Показатели технической оснащенности ЦКП

Развитие кадровой базы науки Показатели кадровой оснащенности ЦКП. Показатели подготовки кадров на базе ЦКП

Снижение затрат финансовых, технических и кадровых ресурсов путем реализации режима коллективного пользования научным оборудованием Число организаций - пользователей ЦКП. Показатели технической оснащенности. Число сотрудников, закрепленных за ЦКП

Повышение уровня научных исследований путем формирования современных исследовательских комплексов Показатели технической оснащенности ЦКП. Показатели кадровой оснащенности ЦКП. Число грантов российских и международных фондов и организаций, полученных для проведения НИР и НИОКР с использованием оборудования ЦКП. Показатели информационной активности

Результативность работ ЦКП Объем средств, полученных ЦКП по мероприятиям Роснауки. Число организаций - пользователей ЦКП. Число грантов российских и международных фондов и организаций, полученных для проведения НИР и НИОКР с использованием оборудования ЦКП. Показатели информационной активности. Показатели подготовки кадров на базе ЦКП

Естественно, что цели создания и функционирования технопарков, инновационно-технологическихцентров,инновационно-промышленных комплексов другие.

Технологический парк - субъект инновационной инфраструктуры, осуществляющий формирование условий, благоприятных для развития предпринимательства в научно-технической сфере при наличии оснащенной информационной и экспериментальной базы и высокой концентрации квалифицированных кадров. Целями функционирования технопарка являются коммерциализация научно-технической деятельности и ускорение продвижения нововведений в сферу материального производства.

Инновационно-технологические центры - субъекты инновационной инфраструктуры, оказывающие комплекс услуг находящимся в них (арендующих помещения) малым предприятиям: техническое, информационное и консультационное обеспечение, а также гарантии при поиске малыми предприятиями средств для своего развития. ИТЦ практически реализует принцип: производить то, что можно продать.

Инновационно-промышленные комплекс - тип инфраструктурной организации, объединяющей малый инновационный бизнес с крупным производством; все звенья этой системы объединены между собой на основе экономических интересов, и это позволяет сократить до минимума переход от фундаментальных исследований до создания высокотехнологичной конкурентоспособной продукции. Они возникли как логическое развитие инновационно-технологических центров.

1.3. Контроль достоверности и коррекция данных

Неполнота и возможная недостоверность части исходных данных -серьезная проблема при осуществлении любой оценки. В рамках предлагаемого подхода для смягчения этой проблемы используются:

• осуществление оценки инфраструктурных объектов по достаточно большому числу показателей, вследствие чего чувствительность итогового результата расчета к ошибке в одном из исходных показателей невелика (например, для сводной ранговой оценки ЦКП средняя величина этой ошибки составляет 1/18 рангового диапазона, поскольку используется 18 показателей);

• возможность экспертного контроля достоверности данных;

• известный из теории оценивания «принцип пессимизма» в отношении отсутствующих либо признанных недостоверными данных.

В рамках предлагаемого методического подхода коррекция данных с использованием «принципа пессимизма» означает признание условно нулевыми тех значений показателей, данные по которым отсутствуют либо недостоверны. Например, если число докторов наук в составе организации неизвестно, то оно считается нулевым.

«Принцип пессимизма» до некоторой степени «штрафует» инфраструктурные объекты за некачественное предоставление данных. Однако проведенные численные эксперименты показывают, что возникающий «штраф» не слишком велик: обнуление 2-4 показателей занижает итоговую оценку в среднем примерно на 1/10 рангового диапазона. Только в тех случаях, когда отсутствуют данные по большинству показателей, результат оценки может сильно исказиться.

Разумеется, коррекцию недостающих либо недостоверных данных с использованием «принципа пессимизма» следует использовать только в

том случае, когда получение более полных и достоверных данных невозможно либо затруднительно.

Этап 2.

Результирующие показатели оценки эффективности деятельности инфраструктурных объектов определяются путем их ранжирования в рамках рассматриваемой референтной группы. При этом сводные показатели вычисляются путем суммирования с весовыми коэффициентами отдельных показателей инфраструктурных объектов либо рангов этих показателей. При расчете ранга показатели упорядочиваются в порядке возрастания.

Весовые коэффициенты показателей устанавливаются экспертно. Например, при оценке центров коллективного пользования, они могут быть установлены на основе опроса ЦКП (производится анкетный опрос, затем полученные экспертные оценки весовых коэффициентов сводятся на основе известных процедур - полученные (сведенные) значения весовых коэффициентов используются в расчетах).

2.1. Сводный показатель кадрового потенциала (А) вычисляется по формуле

А = R(А0)

где R - символ процедуры расчета ранга показателя,

А0 - взвешенная сумма рангов показателей кадровой оснащенности.

АО = G(А1) * R(А1) + G(А2) * R(А2) + G(А3) * R(А3)

где G - символ весового коэффициента.

Значения весовых коэффициентов должны выбираться экспертной комиссией. В целях апробации предлагаемого методического подхода, в расчетах можно использовать следующие значения весовых коэффициентов:

G(А1) = 0,35

G(А2) = 0,25

G(А3) = 0,4

2.2. Сводный показатель технической оснащенности (В) определяется выражением

В = R(В0)

где В0 - взвешенная сумма рангов показателей технической оснащенности.

ВО = G(В1) * R(В1) + G(В2) * R(В2) + G(В3) * R(В3)

Значения весовых коэффициентов:

G(В1) = 0,65

G(В2) = 0,1

G(В3) = 0,25

2.3. Сводный показатель информационной активности (D) вычисляется по формуле

D = R(D0)

где D0 - взвешенная сумма показателей информационной активности инфраструктурного объекта

D = G(D1) * D1 + G(D2) * D2 + G(D3) * D3 + G(D4) * D4

Удобно вычислять взвешенную сумму D0 путем пересчета разных форм информационной активности в условно эквивалентное число статей, опубликованных во всероссийских изданиях. Ориентировочно:

G(D1) = 7 G(D2) = 1 G(D3) = 2 G(D4) = 1

2.4. Сводный показатель подготовки кадров (Е) определяется выражением

Е = R(Е0)

где Е0 - взвешенная сумма показателей подготовки кадров на базе ЦКП ЕО = в(Е1)* Е1 + в(Е2)* Е2 + в(Е3)* Е3 + в(Е4)* Е4 + в(Е5)* Е5

Удобно вычислять взвешенную сумму Е0 путем пересчета разных форм подготовки кадров в условно эквивалентное число дипломных работ. Ориентировочно:

G(E1) = 8 G(E2) = 4 G(E3) = 1 G(E4) = 1 G(E5) = 0,5

2.5. Сводный показатель научного уровня (¥) вычисляется по формуле

F = R(F0)

где F0 - взвешенная сумма ранговых показателей оснащенности и научной результативности работ инфраструктурного объекта (ЦКП):

F0 = G(A) *А + G(В) * В + G(С3) * R(С3) + G(D) * D

Значения весовых коэффициентов:

G(A) = 0,3 G(B) = 0,5 G(С3) = 0,05 G(D) = 0,1

2.6. Сводный показатель результативности работ (С) инфраструктурного объекта (ЦКП) вычисляется по формуле

С = R(С0)

где С0 - взвешенная сумма показателей, которая учитывает общие показатели финансирования и результативности работ, уровень работ и подготовку кадров на базе ЦКП.

С0 = G(С1) * R(С1) + G(С2) * R(С2) + G(E) * E + G(F) * F

Значения весовых коэффициентов:

G(С1) = 0,05

G(С2) = 0,15

G(Е) = 0,1

G(F) = 0,7

2.7. Эффективность использования кадрового потенциала (Х) определяется выражениями

Х = R(X0)

Х0 = С/А

По своему смыслу Х - это показатель, характеризующий соотношение сводного показателя результативности работ (С) и сводного показателя кадрового оснащения (А).

2.8. Эффективность использования технического оснащения инфраструктурного объекта вычисляется по формуле

У = R(Y0)

У0 = С/В

Показатель У характеризует соотношение сводного показателя результативности работ (С) и сводного показателя технического оснащения (В).

2.9. Сводная оценка инфраструктурного объекта (2), объединяющая оценки результативности и эффективности объекта, описывается выражениями

Z = R(Z0)

Z0 = G(C) * С + G(X) * X + G(Y) * У

Пример:

G(C) = 0,7

G(X) = 0,15

G(Y) = 0,15

На 3 этапе осуществляется анализ результатов расчетов. Прежде всего определяется, насколько полученный результат отвечает требованиям практической задачи, ради решения которой проводилась оценка эффек-

тивности деятельности инфраструктурного объекта. В неблагоприятной ситуации могут понадобиться коррективы условий расчета - например, пересмотр состава рассматриваемой референтной группы инфраструктурных объектов (в нашем примере - ЦКП).

Предложенный методический подход к оценке эффективности деятельности инфраструктурных объектов в условиях ограничений (прежде всего, недостаточности исходной информации) позволяет получить корректную сравнительную оценку этих объектов.

Данный подход во многом определяется объемами и качеством имеющейся информации о деятельности инфраструктурных объектов. Предложенный способ сравнительной оценки основан на использовании (доступной) системы показателей, отражающих степень достижения целей функционирования объектов инфраструктуры.

В условиях, когда оценка абсолютных значений эффективности деятельности инфраструктурных объектов не представляется возможной, данный способ является, по сути, единственно приемлемым для адекватной сравнительной оценки эффективности их деятельности.

Апробация предложенного подхода на данных по действующей сети ЦКП показала его применимость для решения практических задач. Например, для использования в конкурсных процедурах.

Литература

1. Инновационная деятельность. Основные термины. [Электронный ресурс] Федеральный портал по научной инновационной деятельно сти. http://www.sci-innov.ru/law/base_terms.

2. И. Дежина Проблемы создания инновационной инфраструктуры в России. ИЭПП, 2004. [Электронный ресурс] http://www.iet.ru/files/ persona/dezhina/IET_presentation-abstract.pdf.

3. Мазуренко С. Н. Развитие инфраструктуры современных научных исследований // «Нанотехнологии. Экология. Производство» № 3 (5), июль 2010.

4. Материалы круглого стола «Механизмы и критерии оценки деятельности научного учреждения» 17 июля 2006г. [Электронный ресурс] http://orange.strf.ru/client/doctrine.aspx?ob_no=3060&cat_ob_no=704.

5. Качак В. В. Центры коллективного пользования научным оборудованием в секторе современных исследований и разработок // «Российские нанотехнологии», том 5, № 5-6, 2010.

6. Качак В. В. Итоги развития сети центров коллективного пользования научным оборудованием / Центры коллективного пользования научным оборудованием в современном секторе исследований и разработок. Сборник материалов научно-практического совещания 19 февраля 2010 года / Под общей редакцией В. В. Качака /. Министерство образования и науки Российской Федерации. М., 2010.