Разработка системы критериев для оценивания последствий и регулирования процессов инновационных разработок, осуществляемых в рамках международного сотрудничества Текст научной статьи по специальности «Экономика и бизнес»

III. Методологические вопросы и информационная среда сферы научных исследований и образования

Напреенко Владислав Георгиевич

кандидат технических наук, ведущий научный сотрудник РИЭПП.

Тел.: (495) 917-86-66, v_napr@mail.ru

РАЗРАБОТКА СИСТЕМЫ КРИТЕРИЕВ ДЛЯ ОЦЕНИВАНИЯ ПОСЛЕДСТВИЙ И РЕГУЛИРОВАНИЯ ПРОЦЕССОВ ИННОВАЦИОННЫХ РАЗРАБОТОК, ОСУЩЕСТВЛЯЕМЫХ В РАМКАХ МЕЖДУНАРОДНОГО СОТРУДНИЧЕСТВА1

Введение

Инновационная разработка - это комплекс работ и мероприятий, предполагающий создание нового или усовершенствованного продукта, нового или усовершенствованного технологического процесса и т. п. Как правило, инновационная разработка (например - НИОКР) может рассматриваться как часть «широкого» проекта, включающего саму разработку, использование ее результатов, а также завершение использования. Изолированное рассмотрение разработки в отрыве от «широкого» проекта нередко бывает бессмысленным и дезориентирующим.

Инновационная разработка, осуществляемая в рамках международного сотрудничества, обычно подразумевает «широкий» проект, осуществляемый организациями двух и более стран, и предполагающий не только создание нового или усовершенствованного продукта или процесса, но и его использование, а также завершение использования (в некоторых областях, например - в атомной энергетике - завершение использования очень существенно). При этом возможны достаточно сложные ситуации, когда разработку проводит одна страна, финансирование осуществляет другая, а использование предполагается в нескольких странах.

К сожалению, отечественный опыт регулирования международных инновационных проектов, накопленный во времена СССР, не отвечает современным условиям. В результате регулирование такого рода про-

1 Работа выполнена при поддержке РГНФ (проект № 11-02-00297а).

Разработка системы критериев... инновационных разработок

161

ектов с российской стороны является слабым и несовершенным. Результатом становятся многочисленные ошибки, например:

• эффект разработки определяется без учета ожидаемых результатов ее промышленного внедрения за рубежом;

• российская сторона при заключении контрактов недостаточно изучает зарубежных партнеров;

• оценка ожидаемых последствий разработки сводится к определению финансовых потерь и доходов, а социальные и политические последствия учитываются слабо;

• российская сторона берет на себя обязательства, наносящие неоправданный ущерб интересам РФ.

Чтобы перейти к более эффективному и правильному регулированию инновационных разработок, осуществляемых в рамках международного сотрудничества, необходимо выстроить отвечающую современным требованиям технологию оценивания разработки с учетом «широкого» проекта, частью которого она является. Технология должна обеспечивать оценивание как проекта в целом, так и наиболее существенных сторон проекта, а также оценивание отдельных решений, принимаемых при подготовке и реализации проекта. С этой целью требуется определить критерии, позволяющие оценивать последствия, а также выбирать меры воздействия на процессы «широкого» проекта. Надо отметить, что число критериев, которые можно предложить для такой цели, очень велико. Например, в отечественной и зарубежной практике используется более тысячи показателей, описывающих организации-разработчики научно-технической продукции. Множественность существующих показателей делает необходимым их отбор в соответствии с задачей оценивания.

Для построения искомой системы критериев были взяты примеры совместных инновационных разработок РФ с КНР, а также РФ с рядом других стран, охватывающие период 1995-2010 гг. На этих примерах выявлялись типовые ситуации, положительные и негативные моменты «широкого» проекта, частью которого является разработка. Работа проводилась в увязке с анализом нормативных российских документов, определяющих требования к совместным инновационным работам. Одновременно формировался «банк возможных решений» по регулированию совместных инновационных разработок и осуществлялся анализ факторов, способных влиять на принятие таких решений и на содержание самих разработок. В числе таких факторов - интересы стран, участвующих в проекте, а также третьих стран, ситуация рынка и потребности научно-технического прогресса, особенности организаций-участников разработок, юридические нормативы и др. В итоге выявлены критерии, оценивание которых наиболее важно для практики: они описывают финансовый эффект проекта, надежность организаций - участников разработки, риск и др. Результаты разработки полученной системы критериев поясняются ниже.

162

Напреенко В.Г.

Идеология оценивания

Оценивание на основе полученных критериев предполагает совместное использования экспертных оценок и результатов объективных вычислений. Экспертные оценки служат для описания факторов, с трудом поддающихся формализации (например - для учета политических интересов), для обеспечения соизмеримости разнокачественных факторов и для построения на основе такой соизмеримости «сверток» критериев. Объективные вычисления касаются главным образом финансовых показателей проекта, а также объемов потребляемых и производимых нефинансовых ресурсов.

Требует особого внимания проблема неточности и неполноты информации. Например, невозможно точно предвидеть успех или неуспех поисковых работ, курсы валют, уровень спроса на инновационную продукцию. Разноголосица суждений экспертов - еще один источник неточности информации. В целях адекватного учета неполноты и неточности информации принято решение использовать интервальные (от... до...) оценки.

Оценивание последствий международного инновационного сотрудничества в отрыве от конкретной ситуации бессмысленно. Поэтому планируется прогнозировать международную, национальную, региональную и отраслевую ситуацию в части показателей, существенных для оценивания инновационной разработки. Традиционные методы математического прогнозирования плохо подходят для этой цели. С одной стороны, они достаточно громоздки и существенным образом ограничивают возможности прогноза. С другой - еще более обостряют проблему неточности и неполноты информации. Особую сложность представляет неточность и неполнота, выражающиеся в недоопределенностях нестатистического характера. Поэтому для построения прогноза международной, национальной, региональной и отраслевой ситуации выбрана отечественная технология недоопределенных моделей (Н-моделей), специально созданная для работы в условиях неполноты и неточности информации и позволяющая (в отличие от традиционных методов) успешно работать с недоопределенностями любой природы, в том числе нестатистического характера [1, 2]. Отметим, что эта технология успешно прошла проверку на большом числе задач, связанных с экономическим прогнозированием [3].

Показатели прогнозной ситуации, для которой оцениваются последствия разработки, показатели самой разработки (продолжительность, трудоемкость, стоимость, оценки последствий разработки), возможные решения по регулированию разработки и зависимости, связывающие рассматриваемые показатели, образуют модель инновационной разработки. С математической точки зрения, модель инновационной разработки строится как совокупность констант, переменных и наложенных на эти величины логических и математических ограничений (условий вида «если. то.», уравнений и неравенств). Предполагается неупо-

Разработка системы критериев... инновационных разработок

163

рядоченность системы ограничений, что упрощает составление модели. Технология Н-моделей позволяет преодолеть трудности, обусловленные интервальностью оценок и неупорядоченным характером используемых ограничений, и дает возможность с помощью модели инновационной разработки легко выбирать решения по регулированию разработки.

Оценивание финансового эффекта и ресурсных показателей проекта

Оценивание финансового эффекта предполагает использование большого числа показателей, имеющих финансовое измерение. В их числе -затраты и доходы, вклад в ВВП стран-участниц и др.

Анализ ошибок, возникающих при регулировании инновационных проектов, осуществляемых в рамках международного сотрудничества, позволяет сформулировать следующие требования к оценке финансовых эффектов таких проектов:

• финансовый эффект должен быть определен как для этапа разработки, так и для этапа использования результатов разработки, а также для периода завершения процесса использования;

• финансовый эффект следует вычислять для организаций, затронутых проектом, а также для бюджетных систем стран-участниц проекта; при этом рекомендуется помнить, что проект может затрагивать организации, не участвующие непосредственно в его исполнении;

• следует особо выделять эффект для каждой из организаций, играющих ведущую роль в проекте;

• желательно также выделять эффект по группам организаций, родственных по форме участия в проекте (исполнители НИОКР, инвесторы, производственные предприятия, т. п.);

• основным критерием финансовой оценки проекта следует считать чистый дисконтированный доход, но для сопоставления доходности проекта с точки зрения разных его участников следует использовать относительные показатели финансового эффекта (срок окупаемости, внутренняя норма доходности);

• оценка финансового эффекта должна сопровождаться обязательной оценкой чувствительности эффекта к изменениям цен и затрат.

Для финансовой оценки проекта, отвечающей этим требованиям, необходим финансовый план проекта, который должен включать:

• поступления и возврат средств с разделением по источникам финансирования;

• структуру затрат по организациям, играющим ведущую роль в проекте: инвестиции, материальные затраты (энергия, топливо, материалы), оплата труда;

• объем обусловленной проектом реализации с выделением экспорта по каждой из стран-участниц;

164

Напреенко В.Г.

• объем обусловленного проектом импорта по каждой из стран-участниц с выделением экспортно-импортного обмена между странами участницами.

В целях оценки чувствительности эффекта к изменениям цен и затрат показатели финансового плана должны быть определены параллельно в постоянных и в прогнозных ценах.

Для корректного оценивания финансового эффекта проекта необходима математическая модель, позволяющая найти показатели эффекта на основе финансового плана. В простейшем случае эта финансовая модель может быть построена традиционными математическими средствами. Однако их использование является затруднительным в условиях неполноты данных, переменчивости состава исходных данных, а также при желании описать интервальными оценками приближенный характер исходных данных. Выход из затруднений дает финансовая Н-модель.

В целом ряде проектов весьма важным являются оценки потребления и производство нефинансовых ресурсов (материальных и трудовых), что требует построения ресурсной модели проекта.

Финансовая модель, ресурсная модель, модель прогнозной ситуации и процедуры преобразования многокритериальных интервальных оценок в «свертки» являются составными частями общей Н-модели инновационной разработки.

Оценивание надежности организаций - участниц разработки

Оценивание надежности организации - участницы разработки имеет главной целью определить способность организации к выполнению ожидаемых от нее работ.

Оценка ведется экспертно в баллах. Предполагается использование следующей шкалы оценок:

0 - предельно низкий уровень,

1 - низкий уровень,

2 - пониженный уровень,

3 - средний уровень,

4 - повышенный уровень,

5 - высокий уровень,

6 - предельно высокий уровень.

Оценки могут быть целыми и дробными, но не могут выходить за пределы от 0 до 6.

Прежде всего, рекомендуется принять во внимание:

• информацию о качестве работ организации;

• информацию о возможных случаях нарушения организацией контрактов, соглашений и т. п.;

• общую репутацию организации в деловых и научных кругах. На основе всей этой информации строится предварительная оценка

организации.

Разработка системы критериев... инновационных разработок

165

Для более детального рассмотрения рекомендуется оценить организацию по следующим направлениям:

1. Связи и правовое положение организации.

2. Экономическое положение организации.

3. Кадровый и технологический потенциал.

4. Инновационная и научная активность (это направление не рассматривается для организаций, участие которых в разработке носит вспомогательный характер и не предполагает самостоятельной инновационной деятельности).

По каждому из названных направлений строится отдельная оценка организации на основе всей доступной информации.

Оценку по направлению «Связи и правое положение организации» рекомендуется строить по таким показателям как:

• соответствие профиля организации содержанию рассматриваемой инновационной разработки;

• место, занимаемое организацией на рынке профильных для нее работ и услуг;

• источники финансирования работ и размеры финансирования из разных источников;

• объем работ по государственным и международным программам;

• включенность в научно-производственные интегрированные структуры и в элементы инновационной структуры (центры трансфера технологий, технопарки и т. д.);

• форма собственности;

• территориальное положение;

• подчиненность;

• время создания организации.

При анализе финансирования особое внимание рекомендуется уделить объему государственного финансирования работ и объему зарубежного финансирования. Высокая в сопоставлении с объемом выполняемых работ и при том стабильная величина этих показателей свидетельствует, как правило, о надежности организации.

Экономическое положение организации характеризуют:

• Прибыль организации в сопоставлении с объемом выполняемых работ;

• Бухгалтерский баланс организации и основанные на нем показатели финансовой устойчивости.

В ряду показателей финансовой устойчивости особого внимания заслуживают коэффициент дебиторской задолженности (дебиторская задолженность к внутренним затратам), коэффициент ликвидности (оборотные активы к краткосрочным обязательствам), коэффициент автономии (капитал и резервы организации к пассивам), коэффициент кредиторской задолженности (кредиторская задолженность к внутренним затратам).

Кадровый и технологический потенциал оценивается по таким показателям как:

166

Напреенко В.Г.

• наличие в организации персонала необходимого профиля и квалификации, а также численность этого персонала;

• наличие у организации необходимого технологического оснащения, в особенности - уникальных комплексов (оборудования, установок, стендов, биологических коллекций и т п.).

Инновационную и научную активность организации характеризуют:

• объем работ по внутренним затратам;

• производительность научного труда (внутренние затраты на исследования и разработки, отнесенные к численности исследователей и разработчиков);

• доля инновационных работ в общем объеме работ;

• наличие у организации сертификата ISO;

• количество полученных свидетельств об открытиях за последние 5 лет;

• количество полученных патентов на изобретения, промышленные образцы и селекционные достижения, а также свидетельства на полезные модели за последние 3 года;

• количество полученных зарубежных патентов за последние 3 года;

• количество реализованных сделок по проданным лицензиям за последние 3 года;

• количество реализованных сделок по уступке патентов за последние 3 года;

• количество правительственных наград и наград международных организаций, полученных организацией за последние 3 года;

• количество публикаций за последние 3 года;

• индекс цитирования публикаций (Science & Engineering Indicators).

Поскольку получение необходимой для оценки информации об отдельных организациях (особенно - зарубежных) может быть затруднено, эксперт имеет возможность отразить возникающую неясность в виде интервальной балльной оценки, например - оценить надежность одного из участников проекта интервалом от 3 до 4.

На основе предварительной оценки, а также оценок по отдельным направлениям, экспертно формируется окончательная (сводная) оценка организации.

Оценивание риска проекта

Оценка риска проекта должна учитывать большое число плохо формализуемых факторов, что приводит к необходимости балльного оценивания с привлечением экспертных оценок.

Оценки предлагается группировать по следующим направлениям:

1. Политический и юридический риск.

2. Организационный риск.

Разработка системы критериев... инновационных разработок

167

3. Экономический риск.

4. Технологический риск.

5. Прочие аспекты риска.

Оценка по каждому направлению строится как свертка оценок по нескольким критериям, описывающим направление.

Для оценивания служит шкала оценок, выражаемых цифрами:

0 - предельно низкий уровень,

1 - низкий уровень,

2 - пониженный уровень,

3 - средний уровень,

4 - повышенный уровень,

5 - высокий уровень,

6 - предельно высокий уровень.

Эта шкала используется и для оценок по отдельным критериям, и для измерения значимости критериев в рамках каждого направления оценки, и для описания значимости направлений оценки.

Критериальным оценкам присваивается знак минус, если возрастание абсолютной величины оценки говорит о росте риска, т. е. об ухудшении ситуации, и знак плюс, если возрастание величины оценки говорит о снижении риска, т. е. об улучшении ситуации. Оценки значимости имеют знак плюс.

Экспертам предоставляется возможность выбрать интервальное значение критериальной оценки, используя целые и дробные доли баллов. Например, эксперт может дать оценку от 3,7 до 4,25.

Интервальная система оценок (в отличие от традиционной точной) позволяет отразить сомнения экспертов и снижает риск ошибок.

Для описания политического и юридического риска служат оценки по критериям:

• стабильность политических факторов, способных влиять на выполнение проекта;

• возможности противодействия со стороны стран, не заинтересованных в проекте;

• патентная чистота разработки;

• влияние коррупционных факторов;

• последствия возможных изменений законодательства.

Критериями оценки организационного риска являются:

• влияние проекта на осуществление других проектов;

• соответствие проекта целям и задачам организаций-исполнителей;

• стабильность партнерских отношений участников;

• надежность участников (здесь используются результаты оценивания надежности организаций - участников разработки);

• последствия выхода возможных организаций-исполнителей из проекта.

Оценки экономического риска строятся с учетом результатов оценивания финансового эффекта проекта. При этом рассматриваются следующие критерии:

168

Напреенко В.Г.

• стабильность экономических факторов, способных влиять на выполнение проекта;

• соответствие создаваемой продукции или технологии требованиям и перспективам рынка;

• конкурентная уязвимость проекта;

• воздействие проекта на производство и сбыт других видов продукции;

• обеспеченность проекта финансами;

• обеспеченность проекта материальными ресурсами;

• обеспеченность проекта трудовыми ресурсами;

• финансовая устойчивость проекта;

Технологический риск проекта отражают оценки по критериям:

• зависимость от незавершенных разработок;

• зависимость от импорта оборудования и сырья из третьих стран;

• возможность адаптации к изменениям;

• надежность технологических процессов.

Перечень прочих существенных аспектов риска определяется экспертами при подготовке оценивания. Если такие аспекты для рассматриваемого проекта обнаруживаются, то их оценки включаются в перечень критериев.

Корректная обработка множества балльных интервальных оценок, полученных от разных экспертов и относящихся к большому числу критериев, представляет собой достаточно сложную задачу. Для ее решения построена специальная вычислительная процедура, которая использует технологию Н-моделей. Процедура позволяет находить сводную оценку мнений экспертов по каждому из балльных критериев, «сворачивать» разнородные критерии, а также измерять согласованность мнений экспертов. В случая низкой согласованности мнений экспертов предусматривается работа по выявлению и устранению причин расхождения экспертных мнений.

Сводная оценка эффектов проекта

Для получения сводной оценки перспектив проекта разработана схема оценивания, которая учитывает большое число плохо формализуемых факторов и строится с привлечением экспертных оценок.

Оценки предлагается группировать по следующим направлениям:

1. Политика и национальная безопасность.

2. Экономика.

3. Научно-технический и инновационный аспект.

4. Социальный аспект.

5. Экологический аспект.

6. Риск (здесь используются результаты оценивания риска проекта).

7. Прочие существенные эффекты проекта.

8. Достоверность оценки.

Разработка системы критериев... инновационных разработок

169

Сводная оценка перспектив проекта строится по аналогии с описанным выше оцениванием риска проекта. Оценка по каждому направлению строится как свертка оценок по нескольким критериям, описывающим направление. Одна и та же шкала оценок (от 0 до 6 по абсолютной величине) служит и для оценок по отдельным критериям, и для измерения значимости критериев в рамках направления оценки, и для описания значимости направлений оценки. Допускается использование целых и дробных оценок. Критериальным оценкам присваивается знак минус, если возрастание абсолютной величины оценки говорит об ухудшении ситуации, и знак плюс, если возрастание величины оценки говорит об улучшении ситуации. Оценки значимости имеют знак плюс. Экспертам предоставляется возможность выбрать интервальное значение критериальной оценки.

Оценки по направлению «Политика и национальная безопасность» определяются раздельно для России, для зарубежных стран, участвующих в сотрудничестве, и для прочих стран. При этом учитываются оценки по направления «Экономика», «Социальный аспект», «Экологический аспект» и др. В плане национальной безопасности принимаются во внимание все ее стороны (экономическая, социальная, экологическая, медицинская, информационная и др.), а не только военная безопасность. Используются критерии:

• соответствие долговременным политическим интересам;

• соответствие текущей политике руководства;

• ожидаемая реакция общественности и лоббистских групп;

• решение актуальных задач национальной безопасности;

• решение долгосрочных задач национальной безопасности;

• возникновение новых угроз национальной безопасности.

Оценки по направлению «Экономика» строятся с использованием

результатов оценивания финансового эффекта проекта. При этом определяются раздельно для России и для зарубежных стран - участников сотрудничества оценки по следующим критериям:

• рост ВВП;

• рост производственного потенциала;

• рост научно-технического потенциала;

• улучшение конкурентной ситуации;

• расширение адаптационных возможностей и устойчивости экономики;

• доходность для бюджетной системы государства;

• доходность для организаций, участвующих в проекте (раздельно для каждой организации).

Кроме того, определяется оценка по критерию «влияние на экономику третьих стран».

Критериями оценки научно-технических и инновационных аспектов проекта являются:

• новизна разработки;

• актуальность разработки;

• соответствие тенденциям развития науки и техники;

170

Напреенко В.Г.

• наличие конкурирующих научных направлений;

• устойчивость перспектив работ;

• широта применения возможных результатов работ;

• стимулирование научно-технического прогресса.

Оценки социальных аспектов проекта определяются раздельно для России и для зарубежных стран, участвующих в сотрудничестве. При этом используются критерии:

• изменения в занятости населения (создание либо ликвидация рабочих мест);

• изменения в социальной структуре и структуре деятельности населения;

• улучшение условий труда и быта;

• культурно-образовательные улучшения;

• другие социальные последствия.

Оценки экологических результатов проекта определяются раздельно для России, для зарубежных стран, участвующих в сотрудничестве, и для мирового сообщества в целом. В качестве критериев, отражающих экологические результаты проекта, рассматриваются:

• создание загрязнений;

• устранение загрязнений;

• сбережение невосполнимых ресурсов;

• сбережение дефицитных ресурсов;

• другие экологические последствия.

Перечень прочих существенных эффектов проекта определяется экспертами при подготовке оценивания. Если такие эффекты обнаруживаются, то их оценки включаются в перечень критериев.

Достоверность оценки отражает информационные и методологические ограничения самого процесса оценивания. Достоверность оценки учитывается шириной интервалов критериальных оценок, а также пятью дополнительными критериями:

• полнота сведений, предоставленных экспертам для оценки проекта;

• надежность сведений, предоставленных экспертам для оценки проекта;

• достоверность исходной информации, положенной в основу разработки проекта;

• надежность прогнозов и предположений, использованных разработчиками проекта.

Для получения сводных оценок мнений экспертов по каждому из балльных критериев, для построения «сверток» разнородных критериев и для измерения согласованности мнений экспертов построена специальная вычислительная процедура, которая использует технологию Н-моделей. При низкой согласованности мнений экспертов предусматривается работа по выявлению и устранению причин расхождения экспертных мнений.

Разработка системы критериев... инновационных разработок

171

Заключение

В настоящее время государственное регулирование с российской стороны инновационных работ, осуществляемых в рамках российскозарубежного сотрудничества, представляет собой малоизученную область. Имеется опыт такого регулирования, накопленный во времена СССР, но к современным условиям он мало приложим. Предлагаемая система критериев, основанная на примерах реальных работ, восполняет этот пробел. Система обеспечивает всестороннюю оценку международных инновационных проектов и отдельных решений в рамках этих проектов, дает возможность выбирать лучшие из них, позволяет предвидеть последствия регулирующих воздействий и накапливать опыт, касающийся как оценивания разработок, так и их регулирования.

Литература

1. Напреенко В. Г., Нариньяни А. С., Юртаев А. В. Недоопределенные модели - нетрадиционный подход к математическим исследованиям экономики // Информационные технологии. № 4. М., 1999.

2. Нариньяни А. С. Метатехнология Н-приложений. Научная сессия МИФИ-2005: Сб. научных трудов. М., 2005.

3. Напреенко В. Г. Применение технологии Н-моделей к задачам экономики и финансов. Приложение к журналу «Информационные технологии». № 6. 2008.