CC BY
169
Универсальная система критериев оценки инновационных проектов
А. С. Жиляева, Н. Б. Культин,
аспирант к. т. н., доцент
nkultin@yandex.ru
Кафедра управления проектами, Институт компьютерных наук и технологий, Санкт-Петербургский политехнический университет им. Петра Великого
В статье рассматриваются особенности критериев оценивания инновационных проектов, используемых инвесторами для отбора наиболее успешных бизнес-идей. Выявлены основные недостатки в используемых в настоящее время перечнях критериев, предложен подход к формированию универсальной системы критериев оценки, учитывающей наличие взаимосвязей между критериями. Рассмотрены этапы построения данной системы, включающие в себя разделение критериев на группы, определение характера их взаимодействий и возможность использования фактических данных о проекте при формировании качественных суждений. В процессе научной работы на данный момент проанализировано порядка 50 бизнес-планов и анкет-заявок на инвестирование. Помимо традиционного разделения критериев на классификационные, количественные и качественные, авторами рассматривается группа классификационно-качественных критериев. Данный тип критериев позволяет на основе фактических данных разделить альтернативы на группы, которые при сравнении между собой позволяют получить качественные оценки проектов по рассматриваемым показателям. В зависимости от разных значений критериев, данные о проекте и, как следствие, качественные оценки по другим показателям могут отличаться. Подобные взаимосвязи между критериями отражены на диаграмме, представленной в статье. Полученные в ходе работы результаты могут быть использованы при создании экспертной системы, служащей для автоматизации процесса проведения экспертизы.
Ключевые слова: оценка инновационных проектов, экспертиза, критерий, система критериев, бизнес-идея, инвестирование.
о
со сч
J <
со о
Введение
Известно, что реализация инновационных проектов сопряжена со значительными рисками, как для исполнителей проекта, так и для инвесторов, оказывающих финансовую поддержку проекта. Ошибки в анализе рынка и прогнозах продаж, проблемы с доведением продукта до конечного потребителя, неопытность руководителей стартапа нередко приводят к закрытию проекта. По статистике Harward Business School около 75% стартап-проектов оказываются неуспешными [1].
Вместе с тем, намного большая часть проектов терпит неудачу в самом начале своего существования на стадиях формирования и концептуализации бизнес-идеи. На данном этапе инициативная группа занимается проработкой идеи конечного продукта, проводит первичный анализ рынка и активно ищет пути привлечения инвестиций в проект. В ряде слу-
чаев уже на этой стадии команда может располагать прототипом будущего продукта, например, запатентованным устройством или программным приложением с ограниченной функциональностью, разработка которых и явилась толчком к идее о запуске коммерческого проекта. Именно на данном этапе проектной командой принимается решение о запуске проекта или отказе от него, поскольку объем вложенных к этому моменту средств минимален, тогда как с каждой последующей стадией реализации затраты на проект будут возрастать и его неудача может привести к потере всех затраченных средств. В то же время рискованное вложение инвестиций в успешный проект на данном этапе дает возможность получения сверхприбыли для инвестора в размере 40-60% годовых [2]. Кроме того, независимые проектные команды, остро нуждающиеся в финансировании, готовы заключать договоры на наиболее выгодных для инвестора условиях. Поэтому, актуальность
создания универсальной системы критериев оценки инновационных проектов, применимая для проведения экспертиз и автоматизации проекта оценивания при помощи экспертной системы [3], не вызывает сомнения.
1. Существующий подход к проведению экспертиз
В настоящее время финансовую поддержку проектам на ранних этапах развития оказывают различные государственные и коммерческие «посевные» фонды, такие как фонд Бортника, и сообщества бизнес-ангелов [4]. Однако для того чтобы получить ее, начинающим предпринимателям приходится проходить жесткий отбор, при котором большинство бизнес-идей останется без финансирования и не будет реализовано. Например, в 2014 г. в рамках отбора проектов Фондом содействия развития малых форм предприятий в научно-технической сфере на конкурсе «СТАРТ» второго этапа из 32 заявок только 19 были рекомендованы для финансирования [5].
Для отбора перспективных проектов различные фонды, ассоциации бизнес-ангелов и других инвесторов, конкурсные комиссии организуют экспертизы, в которых проектные альтернативы оцениваются по ряду критериев. На данный момент каждая организация самостоятельно формирует перечень критериев, по которым будет оцениваться проект, и выбирает используемые экспертные методы, зачастую не учитывая опыт своих коллег. Таким образом, можно говорить об отсутствии единого системного подхода как к формированию перечня критериев, так и к проведению самой экспертизы. В ряде случаев первичное знакомство инвестора с проектом происходит при изучении заполненной анкеты или заявки на финансирование. При этом строгая форма ограниченного по объему документа может помешать авторам отразить всю специфику своего проекта. Другим фактором, по которому перспективный проект может оказаться незамеченным, — неопытность авторов проекта в вопросах бизнеса и маркетинга и как следствие невозможность донести привлекательность проекта до инвестора [6].
При проведении экспертиз проектов часто используют словосочетание «система критериев». При этом множество используемых для сравнения альтернатив показателей взаимосвязаны только иерархически, а влияние значений одних критериев на оценивание проекта по другим не учитывается [7]. Данная особенность процесса проведения экспертиз особенно негативно проявляется при оценке разнородных проектов, принадлежащих к разным отраслям, реализующимся в разных регионах, ориентирующихся на разные рынки потребления.
2. Этапы разработки универсальной системы критериев
Для решения указанных проблем в рамках научной работы по созданию методики оценивания инновационных проектов на базе математического аппарата нечеткой логики проводится разработка универсальной системы критериев оценки проектов.
Учет взаимосвязей между критериями приведет к получению более достоверных результатов при оценке проекта, а решение данной задачи позволит частично формализовать процесс оценивания проекта экспертом. В свою очередь формализация является важным этапом при автоматизации процесса экспертизы путем создания экспертной системы [8, 9].
Разработка универсальной системы критериев предполагает выполнение следующих задач:
• отбор критериев, наиболее часто используемых при оценке инновационных проектов;
• определение фактических данных о проекте, помогающих производить оценку по качественным критериям;
• разделение критериев на группы в зависимости от влияния их значений на оценку проекта по другим критериям;
• построение гипотез о взаимосвязях между критериями;
• проверка гипотез статистическим путем, проводимом на основе анализа бизнес-планов и анкет-заявок на инвестирование;
• определение последовательности оценивания по критериям.
3. Отбор и классификация критериев сравнения проектов
Отбор критериев был проведен путем анализа конкурсной документации программ поддержки инновационной деятельности и теоретической литературы (в том числе [10, 11]). Всего было отобрано около 50 критериев, которые можно разделить на четыре группы: классификационные, качественные, классификационно-качественные и количественные критерии. Классификационные критерии, такие как отрасль внедрения, тип инновации, тип инвестора и другие, позволяют на основе объективных данных отнести альтернативу к группе схожих проектов. Качественные критерии, такие как наукоемкость, служат для сравнения проектов по показателям, не имеющим точной числовой оценки, и носят приблизительный характер. Количественные критерии позволяют формировать суждение о проекте на основе числовых характеристик. К данной группе в большей степени принадлежат различные финансовые показатели, такие как чистый дисконтированный доход, срок окупаемости, объем запрашиваемых инвестиций и т. д. [12].
Стоит отметить, что для ряда критериев, традиционно считающихся качественными, можно определить перечень объективных фактических данных, облегчающих сравнительную оценку по критерию среди сходных альтернатив. Таким образом, данные критерии можно называть классификационно-качественными, так как с одной стороны они могут быть отнесены к классификационным, поскольку используемые фактические данные позволяют относить проекты к определенным группам, а с другой — к качественным, так как позволяют сравнивать альтернативы между собой. В табл. 1 в качестве примера представлены некоторые классификационно-качественные показатели и их значения.
о
оо
<
со О
Таблица 1
Классификационно-качественные критерии
Критерий Классификационное значение Качественное значение
Степень проработанности плана реализации Нет четкого представления цели, отсутствует план реализации Низкая
Цель определена, но отсутствует четкое представление о ее достижении, план представлен в виде набросков, самых основных вех Низкая
Цель определена, но план реализации требует доработки Недостаточная
Ясное видение цели, составлен четкий план реализации Высокая
Степень готовности проекта (для наукоемких проектов) Идея Низкая
Проработана концепция проекта, проведен первичный маркетинговый анализ Низкая
Проведена НИОКР Средняя
Получен опытный образец Высокая
Проведен заказ на опытную партию Высокая
Географический масштаб внедрения нововведения Регион Малый
Страна Средний
Группа стран (СНГ, ЕС и т. д.) Большой (крупный)
Глобальный масштаб Большой
Необходимо обратить внимание и на то, что фактические данные о проекте могут интерпретироваться по-разному в зависимости от определенных характеристик проекта. Например, близкие финансовые показатели и идентичные факты о проектных идеях могут быть представлены совершенно разными качественными оценками в зависимости от сферы внедрения инновации, поскольку потребность в наукоемких решениях, чувствительность к уникальности результата, объемы потенциального рынка сбыта и других показатели могут существенно различаться. В этом отражена взаимосвязь критериев оценки проектов и проектных идей, которую необходимо учитывать при проведении экспертиз. Классификация критериев по участию во взаимодействиях между собой представлена в табл. 2.
4. Исследование взаимосвязей между критериями
Наличие взаимосвязей между критериями и их характер в общем виде могут быть представлены диаграммой, пример которой изображен на рис. 1. Диаграмма представляет собой граф с критериями сравнения, расположенными и в узлах, и ребрами, выражающими
отношения между показателями. Стрелка исходит от определяющего показателя к определяемому.
Важно отметить, что часто значение не одного, а пары или большего числа определяющих критериев служит базой для интерпретации фактических данных при формировании качественного суждения. Подобная ситуация схематически отражена на диаграмме в виде соединения узлов определяющих критериев через промежуточный безымянный узел. Например, совмещенные значения наукоемкости и данных об уникальности разработок позволяют судить о том, насколько велик может быть масштаб внедрения конечного продукта.
Кроме того, взаимосвязи могут иметь прямой положительный и обратный, отрицательный характер. Положительная взаимосвязь, свидетельствующая о смещении оценки в сторону позитивной при положительных оценках определяющих критериев, отображается стрелкой с плюсами в начале и конце. Отрицательная взаимосвязь указывает на рост вероятности отрицательной оценки по критерию при положительных оценках определяющих критериев и изображается стрелкой с плюсом в начале и минусом в конце. На предложенной диаграмме отрицательной
Классификация критериев по характеру взаимосвязей
Таблица 2
Название группы Типы критериев Характер взаимодействия Примеры
Определяющие первого уровня Классификационные, редко качественные Определяют, как интерпретировать фактические данные о проекте, а также какие критерии являются существенными, а какие могут быть исключены при экспертизе Сфера внедрения, сфера знаний, науко-емкость
Определяющие второго уровня Классификационно-качественные, редко классификационные или качественные Определяют, как интерпретировать фактические данные о проекте дл получения качественных оценок Опыт проектной команды, соответствие потребностям потребителя
Определяемые Классификационно-качественные, количественные Качественные оценки по данным критериям определяются на базе фактических данных и значений определяющих критериев Масштаб внедрения, доля рынка, срок окупаемости
Независимые Любой Несут дополнительную информацию о проекте, не участвуют во взаимосвязях. Появляются при исключении части критериев из экспертизы, либо при признание связей данного проекта слабыми, несущественными Экологичность
о
оо
<
СО
о
Рис. 1. Диаграмма взаимосвязей между критериями оценки проектов
связью характеризуется взаимодеиствие уровня конкуренции с другими критериями.
Наконец, двоИная стрелка указывает на то, что любой из критериев может выступать в качестве определяющего для другого, как в случае показателей «уникальность разработок» и «патентная чистота». В таком случае выбор определяющего критерия зависит от полноты и достоверности информации известной по каждому из критериев. Подобные формы взаимосвязей также позволяют проверить согласованность представленных экспертом суждений.
Данная диаграмма представляет собой множество гипотез о взаимосвязях между критериями, которые подлежит проверке путем статистического анализа, либо изучения результатов, полученных другими исследователями. На данный момент проанализировано около 50 анкет-заявок на финансирование и бизнес-планов проектов 2011-2013 гг. Использование проектов этого периода позволяет не только определить степень заинтересованности инвесторов в проекте на тот момент времени, но и его жизнеспособность.
5. Построение и проверка гипотез о взаимосвязях между критериями
Исследование бизнес-планов позволяет выявить закономерности в оценке проектов, которые могут быть выражены в виде гипотез. В свою очередь стати-
стическая обработка значений критериев позволяет проверять предложенные гипотезы и проверять степень значимости определенной взаимосвязи.
Например, исходя из опыта экспертов, можно предположить, что проектные команды, имеющие опыт в реализации инновационных проектов, представляют на рассмотрение более информативные, подробные планы реализации проекта. Логически это обусловлено тем, что в целом опытные команды лучше понимают особенности процесса развития инновационного проекта, специфику его окружения, интересующие инвестора детали. Для проверки предположения о зависимости критерия «Проработанность плана реализации» может быть использован метод хи-квадрат Пирсона [13]. В табл. 3 приведено распределение проектов по значениям критериев «Опыт реализации инновационных проектов» и «Проработанность плана реализации».
Примем за нулевую гипотезу положение о независимости значений рассматриваемых критериев. В ходе проверки гипотезы с использованием пятишагового алгоритма [13] было получено значение показателя ;Х2=10,93, превышающее ^2крит=9,49. Таким образом, нулевую гипотезу следует отклонить, приняв наличие зависимости между значениями рассматриваемых критериев.
Тем не менее, критерий хи-квадрат чувствителен к объему выборки [14], а в данной статье рассматривается сравнительно небольшая выборка, ограниченная
Таблица 3
Распределение значений критериев «Опыт реализации инновационных проектов» и «Проработанность плана реализации»
о
оо
< СО
о
Проработанность плана реализации
Опыт реализации инновационных проектов Отсутствует четкое представление достижения цели, план представлен в виде набросков Цель явно определена, но план требует доработки Ясное видение цели, составлен четкий план реализации
Низкая Средняя Высокая
Опыт реализации отустствует Отсутствует 66,67% 28,57% 0,00%
Опыт реализации присутствует у части команды, имеется опыт реализации традиционных проектов Малый 25,93% 42,86% 50,00%
Присутствует опыт реализации проектов Достаточный 7,41% 28,57% 50,00%
г--о
CN
оо
CN CN
J <
са О
числом исследованных бизнес-планов. Для повышения точности оценки взаимосвязи между критериями и статистической значимости этих связей в рамках работы предполагается проанализировать 100-150 бизнес-планов. Кроме того, в работе предполагается использовать различные методы статистического анализа, в том числе коэффициент ранговой корреляции Спирмена, регрессионные модели и модели множественной регрессии.
6. Анализ и корректировка используемого перечня критериев
В ходе анализа были выявлены и скорректированы следующие недочеты в выбранном множестве критериев сравнения:
1. Для ряда проектов, в особенности относящихся к 1Т сфере, необходимо разграничивать критерии, характеризующие конечного потребителя, и критерии, характеризующие финансовую составляющую, поскольку в данных проектах потребитель фактически не платит за использование продукта, но делает его более привлекательным для третьих лиц, приносящих прибыль проекту (например, путем оплаты рекламного места).
2. Наличие большого числа проектов, не предполагающих проведение собственных НИР и ОКР, а использующих существующие разработки для получения продуктов, удовлетворяющих потребности потребителей, требует существенной коррекции множества выбранных критериев сравнения. Для подобных проектов необходимо использовать иные фактические данные для определения значений качественных показателей.
3. Изначально предполагалось сопоставлять запущенные и закрытые проекты, однако анализ проектов показал, что степень успеха проекта может быть детализирована. Например, в настоящее время часть рассмотренных проектов оказалась реализована, но в масштабах много меньших планируемых изначально. Очевидно, что подобные проекты оказались успешнее закрытых, хотя и уступают реализованным.
4. В рамках анализа также было принято решение об учете проектов, не только получивших финансирование, но и привлекших внимание инвесторов, пригласивших инициаторов на встречу, либо проводивших консультации по доработке идеи проекта.
Заключение
Для проверки гипотезы о взаимосвязи между критериями авторами выполнен анализ большого количества реальных бизнес-планов и заявок на инвестирование, как принятых к реализации, так и отклоненных. Выявленные закономерности позволили формализовать процесс оценивания проектов на основе большого количества критериев. Сделан вывод о возможности (необходимости) «отбрасывания» неактуальных показателей и формирования достоверных качественных
суждений, полученных на основе фактических данных о проекте. Сначала должна производиться оценка проекта по определяющим критериям первого и второго уровней, затем — определяемым критериям.
Выводы
Критерии оценки инновационных проектов тесно взаимосвязаны между собой, значения одних показателей оказывают влияние на формирование суждений по другим.
Критерии оценки инновационных проектов следует разделять на определяющие и определяемые. Определяющие критерии облегчают интерпретацию объективных данных о проекте при формировании качественных суждений, являющихся оценками определяемых критериев.
Разделение множества критериев на определяющие и определяемые позволяет определить последовательность оценки проекта по критериям, при которой исключается использование неактуальных для данного проекта показателей, при этом достоверность качественных оценок определяемых критериев возрастает.
Применение универсальной системы критериев для оценки инновационных проектов позволяет формализовать процесс формирования суждения, что, в свою очередь, является основой для решения задачи автоматизации процесса экспертизы инновационных проектов.
Список использованных источников
1. Steve Blank Why the Lean Start-up Changes everything. Harward Business Review. May 2013 Issue. Официальный сайт журнала Harward Business Review. https://hbr.org/2013/05/why-the-lean-start-up-changes-everything#article-top.
2. С. В. Ермасов. Закономерности бизнес-ангельского финансирования инноваций//Известия Саратовского университета. Т. 8. Серия «Экономика. Управление. Право». Вып. 1. Саратов: Саратовский государственный университет, 2008. С. 34-41.
3. Н. Б. Культин. Экспертная система как инструмент поддержки принятия управленческих решений//НТВ СПбГПУ. № 3 (121). СПб.: СПбГПУ, 2011. С. 139-141.
4. М. Е. Косов, А. В. Сигарев. Источники финансирования инновационных компаний на ранних стадиях развития//Финансы и кредит. 2010. № 25 (401). C. 18-22.
5. Результаты рассмотрения заявок, поступивших по программе «СТАРТ» 2-го и 3-го этапов. Официальный сайт фонда содействия малых форм предприятий в научно-технической сфере. http://www.fasie.ru/ispolnitelyam/2011-zaversheno-rassmotrenie-zayavok-postupivshikh-po-programme-start-2-go-i-3-go-etapov.
6. Б. Г. Литвак. Экспертные оценки и принятие решений. М.: Патент, 1996. - 271 с.
7. Д. Г. Порошина. Особенности разработки бизнес-плана орга-низации//Инновационные технологии в управлении. Вып. 3. М.: МАКС Пресс, 2015. С. 144-148.
8. А. С. Жиляева, Н. Б. Культин. Использование математического аппарата нечеткой логики при оценке инновационных про-ектов//Неделя науки СПбГПУ. Лучшие доклады: материалы научно-практической конференции с международным участием. СПб.: СПбГПУ, 2013. С. 75-78.
9. Н. Б. Культин, А. С. Жиляева. Экспертиза инновационных проектов на основе аппарата нечеткой логики// Научно-технические ведомости СПбГПУ. 2013. № 4-2 (183). С. 120-126.
10. Э. М. Коротков. Антикризисное управление: учебное пособие. М.: Инфра-М, 2003. - 432 с.
11. Л. И. Губкин, Э. И. Крылов. Раскрытие экономического содержания принципов и критериев оценки эффективности инновационно-инвестиционных проектов: научное издание. СПб.: СПбГУАП, 2004. - 24 с.
12. И. Л. Туккель, А. В. Сурина, Н. Б. Культин. Управление инновационными проектами. СПб.: БХВ-Петербург, 2011. - 416 с.
13. С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин. Прикладная статистика. Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. - 471 с.
14. В. Н. Стариков. Некоторые специальные случаи критерия согласия хи-квадрат//Вестник Тамбовского университета. Серия: «Естественные и технические науки». 1997. № 2. С. 142-149.
Universal criteria system for innovation project
assessment A. S. Zhiliaeva, postgraduate student. N. B. Kultin, PhD in engineering, associate professor. (Department of project management, Institute of computing and control, Peter the Great St. Petersburg polytechnic university)
Specific features of criteria used by investors in innovation project assessment to identify the most perspective business ideas are considered in the article. Weakness of the criteria lists used in modern assessments is revealed. An approach to creation of new criteria system that represents interactions
between criteria is described. Stages of forming such system, that include separation of criteria into groups, definition of nature of interaction between criteria and possibility of usage of facts, objective information about a project to provide qualitative assessments are also considered. Above 50 business-plans and requests for investment have been already researched. In addition to traditional classification, qualitative and quantitative groups of criteria, authors take into consideration classification-qualitative characteristics. This type of criteria allows to divide alternatives into groups according to facts known about each project. At the same time, expert can get qualitative assessments of projects by making comparison among the groups using the same criteria. Information about the project can be interpreted in different ways depending on the values of different characteristics. In example, targeting on local market means small degree of implementation for projects based on unique results of scientific research, as usually unique products have a potential to hold the global market. At the same time being the first on the local market can be a result of successful and vast implementation for smaller projects, focused on minor improvements of existing products. Interconnections between criteria are represented on a diagram in the article. Results of current research can be used as a base for expert system, an instrument for project assessment automation.
Keywords: innovation projects' estimation, expertise, criterion, criteria system, business-idea, investment.
ФОНД СОДЕЙСТВИЯ ИННОВАЦИЯМ И ПРАВИТЕЛЬСТВО САНКТ-ПЕТЕРБУРГА ПОДПИСАЛИ СОГЛАШЕНИЕ О ВЗАИМОДЕЙСТВИИ
На конференции «Национальная технологическая революция 20.35» губернатор Георгий Полтавченко и генеральный директор Фонда содействия инновациям Сергей Поляков подписали соглашение о взаимодействии между Санкт-Петербургом и Фондом в области инноваций. Как отметил губернатор, соглашение предусматривает инвестиции в развитие новых технологий. Речь идет о финансовой поддержке молодежного предпринимательства, перспективных научных исследований и технологических разработок ученых Санкт-Петербурга, а также инновационных проектов, находящихся на начальной стадии развития.
Официальным представителем Фонда в Санкт-Петербурге является президент Холдинга «Лен-полиграфмаш» Кирилл Соловейчик.
Источник: Фонд содействия инновациям.
J <
со О
