CC BY
107DOI: 10.25586/RNU.HET.19.06.P.11 УДК 62-50
А.В. Сартори,
Акционерное общество «Наука и инновации» Н.А. Ильина,
Государственная корпорация «Росатом» Н.М. Манцевич,
Акционерное общество «Наука и инновации»
Концепция оценки потенциала коммерциализации результатов исследований и разработок
Подходы к оценке потенциала коммерциализации исследований и разработок
Динамика экономического развития общества и отдельных предприятий во многом определяется скоростью внедрения достижений науки и техники в производство.
Построение эффективной цепочки «научные исследования - инновационной проект - использование результатов в промышленности - рыночная коммерциализация нового продукта» является сегодня важнейшей государственной задачей [3]. Решение этой задачи начинается с определения потенциала коммерциализации и его ранжирования. А успех здесь во многом определяют планирование и оценка рисков реализации этапов этой цепочки, в первую очередь на стадии перехода научных исследований в инновационный проект.
Понятие рыночной коммерциализации продукта тесно связано с внедрением результатов выполненной научной разработки, которая является начальной стадией жизненного цикла любого высокотехнологичного продукта.
Заметим, что вместо общепринятого понятия «внедрение результатов НИОКР» в статье используется термин «коммерциализация результатов НИОКР», так как именно коммерциализация представляет
особый интерес в аспекте экономической эффективности внедрения результатов научной разработки. Коммерциализация результатов НИОКР отличается в первую очередь по масштабу выручки и бизнес-схеме процесса. Определение потенциала коммерциализации для целей настоящей работы будет дано далее.
Целью настоящей статьи является определение релевантных цифровых критериев и методологии оценки потенциала коммерциализации результатов НИОКР.
Несмотря на отсутствие точного определения потенциала коммерциализации НИОКР, попытки его оценки предпринимались неоднократно. В Минобрнауки, Минпром-торге, институтах развития, включая Роснано, Сколково, Фонд со-
Государственная корпорация «Росатом»
действия инновациям, и венчурных фондах есть внутренние критерии, по которым из заявок на финансирование инновационных проектов отбираются те, которые имеют наибольший потенциал коммерциализации. Отбор, как правило, производится на основе экспертного анализа. В силу уникальности каждого проекта методы математической статистики не дают состоятельную оценку потенциала коммерциализации. Экспертный анализ является наиболее распространенной процедурой оценки потенциала коммерциализации и инновационных проектов. Однако разброс оценок экспертов вследствие асимметрии интерпретации и субъективной природы делает актуальной задачу создания обоснованной цифровой оценки уровня
© Сартори А.В., Ильина М.А., Манцевич М.М., 2019
АНДРЕИ ВЛАДИМИРОВИЧ САРТОРИ
кандидат физи-ко-математичес-ких наук, доцент, руководитель проекта АО «Наука и инновации». Сфера научных интересов: управление инновационными проектами. Автор 32 опубликованных научных работ. Электронная почта: sartoriandrey@gmail.com
НАТАЛЬЯ
АЛЕКСАНДРОВНА
ИЛЬИНА
кандидат технических наук, директор по научно-техническим программам и проектам Госкорпорации «Росатом». Сфера научных интересов: методология и практика управления крупными комплексными научно-техническими проектами и программами, технологическими инновациями, научно-техническими компетенциями. Автор 5 опубликованных научных работ. Электронная почта: NAIlyina@rosatom.ru
НИКОЛАИ
МАРКОВИЧ
МАНЦЕВИЧ
доктор технических наук, руководитель проекта АО «Наука и инновации». Сфера научных интересов: разработка и реализация процессов создания инноваций, коммерциализация результатов научных исследований, технологии управления проектами, современные подходы к подготовке специалистов-исследователей, физическая химия высокотемпературных расплавов. Автор 36 опубликованных научных работ. Электронная почта: nmmanl@rambler.ru
Представлена концепция численной оценки потенциала коммерциализации научно-исследовательских и опытно-конструкторских работ, изложена методика ее практического применения для снижения рисков. Отмечается, что риск коммерциализации проектов на ранних стадиях НИОКР весьма значителен, так как в действительности выживает не более 1% технологических стартапов. Обосновано использование для оценки рисков адаптированной к российским условиям и нормативам методологии уровней технологической готовности (Technology Readiness Level - TRL), дополненной параметрами Technology Project Readiness Level (TPRL). Введены понятия потенциала коммерциализации и концепции его численной оценки, TRL-спектра, вектора коммерциализации проекта, уровня динамики проекта, учтено наличие референтных компетенций команды в схожих по бизнес-моделям проектах. Показано, что высокие риски коммерциализации на ранних стадиях НИОКР можно компенсировать выбором эффективного направления реализации потенциала коммерциализации. Обоснована перспективность использования представленной методики в инновационных отраслях промышленности, научных организациях и вузах.
Ключевые слова: коммерциализация, уровень готовности, внедрение результатов НИОКР, инновационный проект, портфель проектов, жизненный цикл продукта, эффективность внедрения.
The concept of a numerical assessment of the potential for the commercialization of research and development work is presented, the methodology of its practical application to reduce risks is described. It is noted that the risk of commercialization of projects in the early stages of R & D is very significant, since in reality no more than 1% of technological startups survive. The use of the Technology Readiness Level (TRL) method adapted to the Russian conditions and standards, supplemented with the parameters of the Technology Project Readiness Level (TPRL), has been substantiated. A project team's proven competences in the similar business model projects are taken into consideration. It is shown that high risks of commercialization in the early stages of R & D can be compensated for by choosing an effective direction for realizing its potential. The prospects of using the presented methodology in innovative industries, research organizations and universities are substantiated.
Key words: commercialization, readiness level, implementation of R & D results, innovative project, project portfolio, product life cycle, implementation efficiency.
готовности проекта к коммерциализации.
В настоящее время в нашей стране действует Федеральная система мониторинга результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы для оценки наукометрических характеристик научных организаций. В ней важными параметрами для оценки являются следующие: количество созданных объектов интеллектуальной собственности (ОИС), число научных сотрудников, их ученые степени и публикации, данные о внедрении результатов исследований и другая информация.
Можно ли считать эти параметры исчерпывающими или хотя бы показательными? Нетрудно показать, что нет. Так, наличие объектов интеллектуальной собственности является важной частью инноваци-
онного процесса, однако не может являться основным показателем потенциала коммерциализации. По данным российского ФИПС, до 40% патентов перестают поддерживаться в течение первых трех лет после регистрации. Это индикатор того, что после сдачи отчетности научные организации перестают поддерживать патенты, не прилагая усилий к внедрению и коммерциализации этих результатов. Число сотрудников и количество ученых степеней косвенным образом характеризует наличие «научной среды», но не является прямым индикатором потенциала коммерциализации, а наличие публикаций по теме проекта до защиты результата интеллектуальной деятельности лишь снижает конкурентоспособность решения.
Методология QuickLook описывает рекомендации для экспертов по оценке потенциала коммерциализации технологий путем первич-
ного и вторичного анализа рынка и лицензионных договоров. По существу, данная методология также является вариантом экспертной оценки с присущими ей достоинствами и недостатками [10].
Существуют и другие способы оценки инновационной активности научных организаций, например, через сравнение инновационной выручки. Такой подход ясно говорит о недооценке специфики инновационного процесса и места научных организаций в инновационном цикле. Инновационный проект на стадии развития до уровня готовности TRL6-7 является по определению затратным. В ходе его осуществления в результате проводимых работ и соответствующих им затрат происходит снижение рисков и соответственно повышение потенциала коммерциализации НИОКР. При этом затраченные на НИОКР средства капитализируются
в приобретение знаний. Их объем в привязке к проекту удобно измерять в обратных риску единицах -уровнях готовности, включая, но не ограничиваясь только параметром технологической готовности [2].
TRL (Technology Readiness Level), или по ГОСТ Р 56861-2016 уровень готовности технологии (УГТ), - степень развития разрабатываемой технологии с целью ее внедрения в конечный продукт. Степень развития технологии оценивают по многоуровневой шкале в зависимости от специфики продукта.
TRL является метрикой оценки готовности результатов НИОКР (технологий, материалов, компонентов, производственных процессов, систем, подсистем и др.) к использованию их в производстве, установках, процессах для реализации целей последних, а также технологического риска, связанного с использованием данных технологий в настоящий момент.
Действительно, риски представляют собой неотъемлемый аспект НИОКР как составной части инновационных проектов, они являются их движущей силой, влияют на потенциал их коммерциализации. Чем выше риски, тем ниже потенциал коммерциализации. Далеко не все инновационные проекты доходят до фазы коммерциализации. Известен факт того, что венчурных инвесторов интересуют только инновационные проекты, приносящие многократные прибыли, которые смогут компенсировать потери в большей части проектов инновационного пакета.
Для описания концепции потенциала коммерциализации определим наиболее важные термины.
- Инновационный проект - совокупность процессов по коммерциализации результатов НИОКР.
- Коммерциализация результатов НИОКР/ инновационного проекта - разработка и систематическая реализация владельцем (совладельцем) прав (инициаторами или заказчиком) востребованного рынком продукта, выручка от производства и реализации которого существенно превышает затраты на весь
жизненный цикл, включая затраты, понесенные на этапе НИОКР.
Важно понимать, что термин «коммерциализация результатов НИОКР» относится в первую очередь к заказчику НИОКР, поскольку именно он предполагает получить дополнительный доход от использования его результата. Для него стадия НИОКР связана с затратами, которые он предполагает окупить в последующей инвестиционной фазе инновационного проекта. Для исполнителя научных исследований возможность коммерциализации результатов может быть получена только в случае совместного с заказчиком и обусловленного соглашением с ним владения результатами интеллектуальной деятельности, созданными в ходе выполнения НИОКР.
Согласно нашему определению потенциал коммерциализации может быть реализован только в случае продолжения развития научной разработки на более высокие уровни готовности проекта инициатором либо заказчиком. А предпосылками для этого является успешное преодоление рисков, характерных для стадии научных исследований и конструкторских разработок.
Поэтому для согласованного понимания роли научных организаций в цепочке создания инноваций - инновационном цикле требуется единая сквозная мультидисциплинарная цифровая шкала для измерения уровня рисков (технологического, инженерного, производственного, нормативного, достаточности компетенций и мотивации команды проекта, обращения с интеллектуальной собственностью, вывода конечного продукта на рынок, в том числе с учетом прогноза уровня конкуренции). Эти риски определяют суммарный риск невозврата инвестиций, в том числе на стадии НИОКР.
В мировой практике высокотехнологичных компаний методология уровней технологической готовности Technology Readiness Level (TRL) и процедура оценки Technology Readiness Assessment (TRA) [6, 7, 9, 11, 14, 15] успешно используются для оценки технологи-
ческих рисков и продолжают совершенствоваться.
Оценка уровня готовности технологии производится для следующих целей:
- определение текущего уровня готовности технологии и его динамики;
- определение нерешенных проблем разработки технологии и связанных с этим затрат и технологический рисков;
- обеспечение эффективного управления НИОКР.
Применительно к управлению научными исследованиями молодых ученых в вузе эта методология успешно реализована в совместном проекте Госкорпорации «Росатом» и Национального исследовательского технологического университета «МИСиС». Полученные результаты приведены в работе [4].
Несмотря на то, что методология TRL позволяет оценить только технологический уровень готовности научной разработки, применение даже только такой оценки демонстрирует существенный прогресс в понимании потенциала коммерциализации как отдельных проектов, так и пакета научных разработок, которым, как правило, обладает каждая научная организация.
Потенциал коммерциализации может относиться к отдельным НИОКР и к организации в целом. В этом случае в качестве самой простой визуализации результатов можно использовать распределение числа НИОКР по различным уровням технологической готовности, то есть формирование TRL-спектра.
Методология оценки уровней технологической готовности научных разработок давно применяется для анализа результатов исследований и разработок за рубежом, например в Департаменте энергетики США (US DOE).
Ниже на рис. 1 и 2 приведены и проанализированы примеры TRL-спектров.
На рис. 1 приведен TRL-спектр по уровням готовности 349 НИОКР, выполненных в Департаменте энергетики США за 2014 год [8]. Только
Число НИОКР
Рис. 1. Распределение по уровням TRL числа НИОКР Департамента энергетики США в 2014 году
Число НИОКР
Рис. 2. Распределение числа НИОКР по уровням технологической готовности для группы отраслевых научных организаций
5% из них имеют результат дости- нее этот вопрос обсуждается в ста- а передаются в заинтересованные
жения уровня готовности TRL6 и тье далее. Проекты с уровнем бо- компании.
выше, когда снимаются основные лее TRL7, по всей вероятности, не По TRL-спектру можно получить
технологические риски. Подроб- финансируются этим ведомством, важную информацию о средних и
максимальных величинах TRL проектов портфеля, соответствия данного состояния задачам организации. Из представленных на рис. 1 данных, например, можно заключить, что для коммерциализации на момент оценки уровней технологической готовности пакета НИОКР может быть потенциально предложен только каждый двадцатый проект. В то же время даже для этих проектов кроме ТЯЬ-спектра требуется дополнительная информация для оценки потенциала их коммерциализации.
На рис. 2 приведен Т^-спектр для группы отраслевых научных организаций, полученный авторами статьи при анализе результатов 552 НИОКР.
Из рис. 2 видно, что форма зависимости распределения принципиально другая, чем для НИОКР, выполненных по линии Департамента энергетики США (рис. 1). Имеется смещение максимума результатов НИОКР в область более высоких уровней технологической готовности, и абсолютно максимальное значение достигается при ТКЬ9. При анализе причин такого расхождения возникло предположение, что надо отдельно проанализировать НИОКР по исследованиям и разработкам и по НИОКР-услугам
для организаций, по статистике которых приведена представленная на рис. 2 зависимость.
Формулировки проекта ФЗ «О научной, научно-технической и инновационной деятельности в Российской Федерации» допускают в рамках прикладных научных исследований не только создание новых технологий, товаров, но и оказание услуг.
Разделить НИОКР на услуги и на продуктовые НИОКР важно, поскольку первые, строго говоря, не подходят под определение коммерциализации. И, следовательно, их учет может нарушить статистику, применяемую для оценки потенциала коммерциализации.
Для дальнейшего обсуждения определим понятия «НИОКР-раз-работка (Research & Development -R&D)» и «НИОКР-услуга» следующим образом.
НИОКР-разработка. Проведение научных исследований, направленных на создание нового конкурентоспособного востребованного на рынке результата (разработка/совершенствование технологии, создание нового продукта, решающего задачи потребителя, не реализуемые другими средствами). Результаты являются охраноспособными.
НИОКР-услуга. Проведение аналитических или технологических работ по существующим стандартам/регламентам/техническим условиям, в том числе требующим наличия лицензии/сертификации.
Поясним, что в контексте данной статьи аналитические работы включают как работы в области исследования веществ и материалов (ГОСТ Р 52361 2005. Контроль объекта аналитический. Термины и определения), так и испытания/измерения характеристик конструкций и изделий, необходимых для выполнения инновационного проекта. А технологические работы предусматривают изготовление макетов, моделей, экспериментальных образцов и их элементов, проведение технологических операций, необходимых для их изготовления и тестирования.
Услуга, как правило, не подходит под предложенное нами выше определение коммерциализации результатов НИОКР.
На рис. 3 приведены результаты выделения из массива НИОКР, представленного на рис. 2, части НИОКР-разработок без учета НИОКР-услуг.
Оранжевая линия на рис. 3 находится на уровне TRL6. Для случая НИОКР-разработок TRL6 - это
Число МИОКР
Рис. 3. Распределение результатов НИОКР по уровням технологической готовности для группы НИОКР-разработок
наличие репрезентативного полнофункционального опытного образца, определяемого следующим образом: образец (материал, компонент, элемент, система, технология), выполняющий все функции, требуемые для конечного изделия, воспроизводит все связи элементов конечного изделия, выполнен в масштабе конечного продукта и изготовлен на пилотной производственной линии. Подтверждены все рабочие характеристики в условиях, приближенных к реальности с максимально достижимой в лабораторных условиях точностью.
Предполагается, что все НИ-ОКР- разработки) с результатами на уровне TRL6 и выше могут рассматриваться в качестве потенциальных кандидатов на формиро-
вание инвестиционных проектов. Технологические риски на уровне ТКЬ6 практически сняты.
Следует заметить, что результат интеллектуальной деятельности/объект интеллектуальной собственности создается, как правило, на уровне ТКЬ3-4, обычно как ноу-хау, и далее развивается в заявку на изобретение по мере приближения к моменту вывода созданного в результате выполнения НИОКР продукта на рынок.
Поскольку НИОКР-услуги выделяются в отдельную группу не только по содержанию, но и по значению уровня готовности, логично адаптировать к ним определение уровней готовности TRL. В литературе описание уровней технологической готовности для научной услуги авторам статьи обнаружить не удалось. Поэтому нами
сформулированы и приведены в табл. 1 уровни технологической готовности для этого случая. Отметим, что НИОКР-разработка и НИОКР-услуга имеют разные формулировки уровней готовности по содержанию, но не по сути методологии уровней готовности.
Информация, приведенная в примерах, показанных на рис. 2 и 3, является по существу базой для анализа научных организаций как владельцев пакета НИОКР-раз-работок (далее - НИОКР) с точки зрения оценки потенциала внедрения/коммерциализации получаемых результатов научных исследований даже при использовании только параметра TRL как одного из шести параметров шкалы TPRL (Technology Project Readiness Level) [2].
Таблица 1
Определение уровней готовности TRL6-9 для НИОКР-услуги
ТИЬ 6. Проведены разовые работы на серийном оборудовании в стандартных условиях. Изготовлены образцы/элементы продукта заказчика до TRL4-6. Результат интеллектуальной деятельности передан заказчику. Коммерциализация результата не предполагается Проведены разовые аналитические работы в лаборатории на серийном аналитическом оборудовании в условиях, определяемых его изготовителем. Регламент аналитических работ определяется изготовителем оборудования либо создан в рамках договора специально для разовых анализов. Создание специальных внешних условий для испытуемых образцов ограничено регламентами изготовителя серийного аналитического оборудования. Изготовлен образец (макет/модель/алгоритм/ПО) по ТЗ заказчика. Результат интеллектуальной деятельности передан заказчику. Услуга оказывается специалистами широкого профиля без специальной подготовки
ТИЬ 7. Проведены серийные работы с использованием ключевых компетенций исполнителя. Изготовлены образцы/элементы продукта заказчика до TRL7. Проведены регулярные мероприятия по обслуживанию поставленных образцов. Результат интеллектуальной деятельности передан заказчику. Коммерциализация результата не предполагается Проведены полнофункциональные серийные аналитические работы на специальном стенде, воспроизводящем или моделирующем основные внешние условия эксплуатации исследуемых образцов. Регламент аналитических работ утвержден на уровне организации для серийных анализов. Создание специальных внешних* условий для испытуемых образцов ограничено основными воздействующими факторами. Проведены работы по адаптации/интеграции образца в инфраструктуру заказчика. Регулярное сопровождение образцов выделено в самостоятельную услугу. Услуга оказывается серийно специально обученным персоналом
ТИЬ 8. Проведены полнофункциональные серийные аналитические работы на специальном стенде, воспроизводящем или моделирующем внешние* условия в максимально полном объеме Регламент аналитических работ соответствует стандартам отрасли и утвержден на уровне организации для серийных анализов. Внешние условия эксплуатации исследуемых образцов воспроизведены в максимально возможном объеме. Обеспечено обоснование идентичности моделирующих условий реальным внешним воздействиям и соответствие российским стандартам. Услуга оказывается серийно сертифицированным персоналом
ТИЬ 9. Проведены аналитические работы на специальном сертифицированном или аттестованном стенде Услуга является уникальной и востребованной. Регламент и оборудование для аналитических работ соответствует российским или международным стандартам, организация/лаборатория, оказывающая услуги, прошла аккредитацию российских/международных сертификационных органов или имеет лицензию на оказание данного вида услуг. Услуга оказывается серийно. В портфеле присутствуют заказы от международных организаций (для организаций, работающих на международном рынке). Информация об услуге и условиях ее оказания размещена на сайте организации
* Внешние условия - условия, в которых планируется эксплуатация продукта.
Необходимо также учитывать корреляцию с характером выполняемых в организациях научных исследований: фундаментальные работы располагаются в начальной части и могут даже предшествовать TRL1, а прикладные - смещаются вправо по шкале уровней технологической готовности. При этом разработка четких формулировок уровней готовности для результатов фундаментальных научных исследований требует дополнительной проработки вместе со специалистами научных организаций, занимающихся фундаментальными исследованиями. Это может быть самостоятельной задачей в развитии методологии уровней готовности.
Потенциал и вектор
коммерциализации инновационного проекта
Данные приведенного выше анализа НИОКР с использованием TRL-методологии показывают, что этот анализ дал результаты нового качества, позволяющие численно сравнивать разные НИОКР, принимать решения по развитию пакета НИОКР.
Для определенности в настоящей статье будем полагать, что коммерциализация НИОКР реализуется через проекты. При развитии проекта разработчики встречаются с расширенным по сравнению с TRL набором рисков, которые существенно влияют на эффективную коммерциализацию.
Авторы статьи приняли при обсуждении уровней готовности гипотезу: для оценки результатов НИОКР использовать методологию TRL, для инновационного проекта вследствие недостаточности использования в оценке только параметра технологической готовности использовать методологию TPRL с расширенным набором параметров, предложенную в работе [2]. Данная методология модифицирована и дополнена для сбалансированного управления развитием проектов в целом. Методология ТРКЬ для оценки уровня готовности проектов основывается на опре-
делении следующих параметров: технологической готовности TRL; производственной готовности MRL; инженерной готовности ERL; организационной готовности ORL; конкурентных преимуществ и нетехнологических рисков BRL; рыночной готовности CRL.
В данной статье авторы продолжают развитие методологии TPRL. В частности, доработаны описания параметров, проведена проверка применимости методологии на реальных технологических проектах. Вводятся следующие характеристики, существенно дополняющие параметры TPRL:
- вектор коммерциализации проекта, определяющий текущий уровень готовности проекта;
- направление развития проекта -вектор, определяющий направление развития c наименьшим риском;
- уровень динамики развития проекта - вектор, определяющий скорость изменения вектора коммерциализации между двумя точками, например, за определенный этап работ;
- фактор, характеризующий наличие подтвержденных компетенций команды в коммерциализации схожих по бизнес-моделям проектов.
Далее рассмотрим определение понятия «потенциал коммерциализации», что потребует использования указанных выше характеристик и всех параметров шкалы TPRL. Уровни готовности параметров приведены в табл. 2 по данным [2].
Чтобы ввести понятие «вектор коммерциализации НИОКР (Z )», используем аналогию с кинематикой, где положение точки определяется радиусом-вектором в пространстве (например, евклидовом или ином) относительно некоторой заранее фиксированной точки, называемой началом координат.
Аналогично этому определим вектор коммерциализации для задания текущего положения/уровня готовности технологии в шестимерном пространстве параметров TPRL (технологической готовности TRL;
производственной готовности MRL; инженерной готовности ERL; организационной готовности ORL; конкурентных преимуществ и нетехнологических рисков BRL; рыночной готовности CRL - см. табл. 2), описывающих численно уровень готовности инновационного проекта.
Каждой оси в пространстве параметров соответствует один из шести параметров. Например, одна из осей показывает значение TRL, являясь общепризнанной шкалой уровней технологической готовности. Другая ось показывает уровень рыночной готовности CRL. Данный набор может изменяться в зависимости от отрасли промышленности и специфики НИОКР или проекта.
Для геометрической интерпретации вектора коммерциализации наиболее простой является евклидова метрика. Однако концепция допускает применение и других метрик в зависимости от конкретной задачи.
Ввиду сложности наглядного отображения шестимерного пространства далее в статье будут приводиться графические иллюстрации на двухмерном пространстве «технологическая готовность TRL - рыночная готовность, коммерциализация CRL». Будем исходить из того, что для остальных четырех параметров все зависимости могут быть представлены аналогично.
Определим текущий вектор коммерциализации (Zc ) как вектор в данном пространстве, направленный из начальной точки уровней готовности (0, 0, 0, 0, 0, 0) в точку, определяющую текущий уровень готовности проекта (et, cm, ce, со, cb, cc); где et - текущий уровень технологической готовности НИОКР; cm, се, со, cb, ec - соответственно для остальных пяти параметров. Под начальной точкой уровней готовности (0, 0, 0, 0, 0, 0) понимается уровень, при котором ни по одному из параметров не достигнут первый уровень. Из определения следует, что текущий уровень технологической готовности (TRLct) равен проекции вектора Zc на ось TRL. Проекция Zc на другие оси определяет
Обобщенное описание уровней готовности шести ключевых параметров TPRL [2]
ш
§
X
1
i i D о
2 S
Î Ря n^Ss
e
Таблица2
<ь « _ £ 0 0 0 С û. s s 1 Se
I 2 1 II & I §8 ï ï s Í 1 s S о i s î é Ф 0 1 S
ill ? I 2 iS s * 0 leg
(8,9] Улучшение и эволюция изделия Рабочоя документация
(7,8] Продукт в составе Доработка моделей
системы
(6-7]
(5,6]
(4,5]
(3,4]
(2,3]
Продукт в составе макета системы
Пол нефункциональный образец
Образец в peo льном масштабе
Лабораторный образец
Макетный образец
Конструкторская подготовка CAD/ САМ
Изготовление на пилотной
ЛИНИИ
Режимы пилотного производство отроботаны
Интеграционные интерфейсы
Проверка совместимости
Основное и вспомогательное производство
Отработка стабильного пилотного производства
Технологическая подготовка производства
Состов пилотной производственной
ЛИНИИ
Изготовление в реальных условиях
Базовая
технология
производства
Выбор
производить\ заказывать
х
%
s i
Û. о % 5S
О so
Поддержка
производства,
сервиса,
снижение
издержек
Оргподготов-ка производство
и сервисо
Соглашения с заинтересованными организациями
Обученный персонал
Уточненная
бизнес-
модель
Требования к сервисной поддержке
Уточненные технические
требования к продукту
If.
С а «о
Мониторинг конкурентов
* Í
0 X э
1 S » S S î
i2 Is
á 2 SC
Вывод на рынок
Подписаны Отработка соглашения зомечоний с партнерами заказчиков
Подписаны
лицензионные
договоры
Зоявки на патенты. Технические риски сняты
Уточненные преимущество
Стратегия защиты ИС
Предварительный вывод на рынок
Точные
спецификации
продукта
Уточненная модель ценообразования
Поставщики и партнеры, ценовоя политика
112]
Области применения
(О,)]
Фундаментальная концепция
Анализ ВЛИЯНИЯ на конечную систему Оценко доступности материалов и процессов Партнерское окружение
Требования к инженерным ресурсам Базовые требования к производству Схема базовых бизнес-процессов
План снижения рисков Конкурентное окружение
Патентный анализ Ценностное предложение
Первоначальная оценко преимуществ и рисков Оценко полезности
соответственно значения других пяти уровней готовности.
Вектор Zc имеет координаты (а, cm, ce, со, сЬ, сс) и благодаря учету основных значимых для внедрения НИОКР параметров характеризует его текущий уровень развития по шкале параметров TPRL. При этом модуль этого вектора | тСс | = (с*2 + ст2 + се2 + со2 + еЬ2 + сс2)1/2 отражает интегрально продвижение по всем шести параметрам (уровням готовности), что позволяет его использовать в том числе и для оцен-
ки капитализации знаний, полученных в процессе развития проекта.
В условиях, когда результат проекта принципиально важен по техническим или экономическим причинам, например, когда результаты проекта используются в качестве элементов в сложной системе (комплексном проекте), имеющем жесткую дорожную карту, авторами статьи рекомендуется в качестве уровня готовности проекта использовать наименьший из шести фактически достигнутых в данный мо-
мент времени проекта уровней готовности TPRL.
В приведенном примере на рис. 5 показан статус реального проекта по осям TPRL, из которых наименьшим является уровень производственной готовности MRL - 2. В силу данного подхода текущий уровень готовности всего проекта равен 2.
Действительно, чем меньше уровень готовности, тем выше риск реализации проекта. Самый высокий риск соответствует в приведенном
примере производственной готовности. Этот риск и будет определять риск реализации проекта на данной стадии развития проекта.
На первый взгляд, такой подход можно охарактеризовать как очень жесткий. В литературе [5] используется подход к оценке уровня готовности, основанный на усредненном уровне готовности по всем шести параметрам. Однако такое усреднение может привести к занижению оценки суммарного риска ввиду нелинейности шкал по каждому из параметров. Действительно, если в нашем примере уровень рыночной готовности и коммерциализации CRL равен 2, то у разработчика нет ясного представления о проблеме потребителя, конкурирующих технологиях, ключевых характеристиках продукта, соответственно об объеме спроса на продукт, о его рыночной стоимости, а также о себестоимости продукта. В итоге более высокий уровень готовности НИОКР (TRL равен 5) не компенсирует эти проблемы и не может снизить рыночные риски, а следовательно, интегральные риски проекта. В этом случае уместно критически отнестись к рискам возникновения проблем в духе закона Мерфи: «Всё, что может пойти не так, пойдет не так».
Предложенный подход является максимально простым и одновременно консервативным, применимым для сложных систем в условиях фиксированного времени выхода на рынок. Однако для перспективных проектов с фокусом коммерциализации на открытом рынке целесообразно использовать иной, более гибкий комплексный подход. Этот подход изложен далее.
Целевая траектория развития проекта вводится исходя из следующих соображений. Как отмечено в статье [3], гармоничное соотношение «риск - прибыль» для успешной реализации проекта достигается при пропорциональном развитии по всем осям TPRL. Действительно, целесообразно запланировать достижение уровней готовности MRL, ERL, ORL и других таким образом, чтобы снизу они ограничивались мак-
симальными результатами, которые должны быть уже достигнуты при заданном уровне TRL, а сверху - результатами, которых достигать преждевременно.
Поясним сказанное на примере. Для уровня ТКЬ6 выполнение требований СЯЬ4 (уточнены конкуренты, поставщики, модели ценообразования) является недостаточным, так как рыночный анализ на СКЬ4 не учитывает значения себестоимости производства и влияния ограничений рынка на эту себестоимость, а следовательно, на технологию производства, пути продвижения и продаж. Это означает, что рыночные риски еще весьма высоки, не совсем ясно, будет ли продукт востребован рынком, а опережающие затраты на разработку технологии уже понесены, возможно преждевременно. С другой стороны, при ТИЬЗ нет оснований для выполнения условий СЯЬ5 (уточнена ценовая политика, выбраны каналы продаж, приоритетные поставщики), поскольку для этого недостаточно данных по продукту, не сформирован окончательно облик продукта. Это означает, что исследования
рынка и обоснование востребованности продукта могут быть нереалистичными, поскольку опираются на гипотетические данные о свойствах продукта.
Таким образом, опережение развития проекта по уровню готовности одного из параметров сопряжено с повышенными дополнительными рисками по другим параметрам. Иными словами, наименьшим риском обладает сбалансированное/ гармоничное развитие проекта при равномерном росте уровней готовности по всем параметрам TPRL. На диаграмме ТКЬ-СКЬ такому развитию будет соответствовать движение по биссектрисе между осями (целевая траектория развития на рис. 4.).
Для целей управления проектами важным является то, как проект развивается во времени с учетом календарного плана. Динамика развития проекта является одним из основных показателей его эффективности. Действительно,чем быстрее происходит движение по уровням готовности, по целевой траектории движения проекта, тем больше вероятность опере-
123456789
Рис. 4. Представление вектора коммерциализации Ъ в координатах Т^-С^, где Ъс - текущий вектор коммерциализации проекта, Zf - целевой вектор коммерциализации проекта, ДЪс - приращение вектора коммерциализации проекта между последовательными точками во времени 1 и 2, ДZf - критический путь развития проекта
Рис. 5. Диаграмма для выбора наименьшего уровня готовности проекта по шести TPRL-параметрам
дить конкурентов. Для разных отраслей промышленности этот уровень может отличаться. Например, для 1Т-разработки мобильных приложений скорость может достигать девяти уровней готовности за год. А в области атомной энергетики она составляет не более одного уровня в год.
Динамика развития проекта между точками 1 и 2 состояния проекта во времени, разделенными интервалом At (см. рис. 4), в пространстве параметров уровней готовности может быть охарактеризована А2с / At = (¿с 2 - 2с 1) / АГ Численно динамика равна модулю вектора | А (¿с) / А£|.
Если под (2/) понимать конечный (целевой) вектор коммерциализации НИОКР, например уровень готовности, равный 9 (см. рис. 4) по всем характеристикам готовности А =/ш =/в =/о =/Ь =/с = 9 (организовано промышленное производство продукта), то вектор разности А(2/) = (¿/) - (¿с) показывает разработчику критический путь развития проекта и задает шаги, необходимые для развития НИОКР, наименее рисковые с точки зрения достижения и внедрения его результатов в срок, за отведенный бюджет, в пределах имеющихся компетенций. Критический путь развития проекта представляет согласованное движение по всем
уровням готовности по кратчайшей траектории от начальной точки к конечной, что в шестимерном пространстве выражается вектором а2).
Работа, проведенная авторами статьи по определению состояния (¿с) для НИОКР разных стадий в координатах Т^-СЯЦ дала результаты, приведенные на рис. 6, обсуждение которых приводится ниже.
Кружками на рис. 6 обозначено положение конкретных НИОКР с оценкой их результатов по параметрам уровней готовности по координатам ТЯЬ и СЯК Пунктирные линии показывают область результатов НИОКР, уровни готовности которых по осям ТЯЬ и СЯЬ отличаются от целевой траектории развития проектов (см. рис. 4.) на один уровень. Проекты вне этой области находятся в зоне риска.
Для значений уровней готовности на рис. 6 приняты следующие определения.
ТИЬ1. Сформулированы фундаментальная концепция технологии и обоснование ее полезности.
Т^2. Определены целевые области применения технологии и ее критические элементы.
ТКЬЗ. Получен макетный образец и продемонстрированы его ключевые характеристики.
TRL4. Получен лабораторный образец, подготовлен лабораторный
стенд, проведены испытания базовых функций связи с другими элементами системы.
ТЯЬ5. Изготовлен экспериментальный образец в реальном масштабе по полупромышленной технологии, проведено испытание с эмуляцией основных внешних условий.
ТЯЬ6. Изготовлен репрезентативный полнофункциональный образец на пилотной производственной линии, подтверждены рабочие характеристики в условиях, приближенных к реальности.
ТЯЬ7. Прототип системы продемонстрирован в составе системы в реальных условиях эксплуатации.
Т^8. Окончательное подтверждение работоспособности образца. Разработка функционирующей реальной системы завершена.
Т^9. Изделие удовлетворяет всем требованиям: инженерным, производственным, эксплуатационным - по качеству и надежности. Возможна модификация по снижению себестоимости, развитию и эволюции системы. Функционирующая реальная система подтверждена в ходе реальной эксплуатации и успешного выполнения испытательных заданий.
СЯЬ1. Определено наличие потребности рынка по литературным источникам: тренды, обзоры, конференции, динамика патентова ния.
С^2. Определены и оценены целевые потребительские сегменты.
С^З. Проведены конкурентный анализ, анализ поставщиков, уточнены характеристики продукта, способы монетизации.
С^4. Уточнены конкуренты, поставщики, модели ценообразования.
СКЬ5. Уточнена ценовая политика, выбраны каналы продаж, приоритетные поставщики.
С^6. Уточнены спецификации продукта по каждому целевому
сегменту, построена уточненная бизнес-модель.
CRL7. Осуществлен предварительный вывод на рынок.
CRL8. Проведена отработка замечаний заказчиков.
С^9. Произведен вывод на рынок.
На рис. 6 видно, что отдельные НИОКР распределены в целом в области биссектрисы (целевой траектории развития). Отдельные отклонения от этой тенденции свидетельствуют о том, что менеджеры проектов выбрали стратегию с высокими рисками коммерциализации. Подробнее об этом говорится в разделе, посвященном цифровой оценке потенциала коммерциализации.
Используя понятие вектора коммерциализации, можно перейти собственно к потенциалу коммерциализации Pap(Z ), являющемуся скалярной интегральной характеристикой (численным индексом) прогноза возможности/вероятности успешного внедрения и коммерциализации результата НИОКР (технологии, продукта).
Коммерциализация в рамках данной статьи понимается в смысле определения данного в первом разделе.
Определим потенциал коммерциализации Pap(Zc ) как вероятность коммерциализации результатов НИОКР с текущего до целевого уровня проекта, определяемых соответственно Zc и Zf.
Под Zf можно понимать не только организацию промышленного производства, но и, например, создание полномасштабного опытного образца продукта (демонстратора). Форма внедрения зависит от специфики проекта и должна быть определена в начале проекта, на этапе НИОКР с уровнем технологической готовности ТЖ1-2.
Цифровая оценка потенциала коммерциализации
Далее для примера будем считать, что = (9, 9, 9, 9, 9, 9, 9). В предлагаемом подходе каждый из шести параметров TPRL характеризуется собственным уровнем готовности с соответствующей ему вероятностью внедрения. В силу того, что параметры TPRL рассматрива-
ются как независимые (строго говоря, это не совсем так, но такое допущение имеет право на жизнь для упрощения изложения концепции), то по общим правилам определения вероятности наступления события, зависящего от нескольких независимых событий, вероятность достижения конечного результата (коммерциализации) равна произведению вероятностей наступления этих событий P (¿о) = р гр р р р Ь р , [21,
ар^ ^ ¿с с с с о± сЬ± с о
гдерсх - вероятность внедрения при достижении параметра X уровня готовности С. Для определения Рар(2с ) нам остается только решить вопрос, как определить уровень текущей готовности и соответствующую ему вероятность коммерциализации.
Представляется очевидным, что потенциал коммерциализации НИОКР зависит как от текущего уровня готовности проекта, так и от возможностей/ресурсов/компетенций команды проекта/организации довести проект до внедрения, задаваемого вектором Zf (см. рис. 4). При этом вероятность достижения уровней готовности в
9 т © © ©
8 ©® Целевая траектория развития проекта С +1ТШ. ) ,
7 ¿ЯГ) (^-пш.
— н 6 © о
к ЕВ О о. 5 О ©
V к = <и я = го * 3 ©© © О0 С © ©
г 0 ©
1
1 г з 4- 6 в 7 « 9
Значение уровня СМ.
Рис. 6. Результаты оценки реальных проектов НИОКР визуализированы на двумерной диаграмме
области подтвержденных компетенций гораздо выше, чем вероятность достижения тех же значений уровней готовности в области, где компетенции не подтверждены и нет опыта подобных работ.
Параметры, определяющие текущий уровень проекта, можно условно разделить на специфические для проекта технические параметры (TRL, MRL, ERL), развитие которых определяется в значительной степени физической природой продукта (объективными факторами), и другие нетехнологические параметры (ORL, BRL, CRL), развитие которых определяется в большей степени компетенциями команды (субъективными факторами) и подтверждается референциями.
На пути разработки могут встретиться естественные ограничения как объективного, так и субъективного характера, которые не всегда удается преодолеть. Поэтому P(Z ) меньше единицы, что особенно заметно в проектах с низкими значениями уровней готовности.
Величину P(Z ) можно оценить по экспертным оценкам и/или на
основе обработки статистики внедрения НИОКР соответствующей отрасли промышленности. Например, для аэрокосмической отрасли, являющейся пионером в деле внедрения методологии уровней готовности, распределение численных значений вероятности успешного внедрения результатов аппаратных проектов в зависимости от ТКЬ представлена 5-образной кривой (цифровой профиль риска по данным) [12].
Цифровые профили риска по другим параметрам ТРЯЬ в общем случае могут отличаться от профиля ТЯЬ, приведенного на рис. 7. Экспертным путем для каждого из них целесообразно ввести специфические профили рисков как функцию от уровня готовности параметра, присущую конкретной предметной области и организации. Однако для целей демонстрации концепции оценки потенциала коммерциализации конкретное значение рисков (координат) 5-образного профиля зависимости не является критичным. Без нарушения общности можно при-
нять, что по всем параметрам ТРЯЬ 5-образные профили риска являются идентичными.
Дополнительным аргументом в пользу данного допущения является принцип, заложенный в определение уровней готовности для параметров ТЯРЬ. Принцип основан на соответствии равных уровней готовности для разных параметров ТРКЬ по вероятности коммерциализации. Первичным при определении такой вероятности является уровень ТЯЬ, поскольку именно технологическая готовность определяет облик продукта, его ключевые преимущества, первичные перспективы коммерциализации. Для этого уровня задается шкала вероятности - 5-образная кривая.
Применение 5-кривой ко всем параметрам позволяет определить значение вероятности коммерциализации в каждой точке пространства ТРЯЬ, или в нашем примере на плоскости ТЯЬ-СКЬ. Значение этой вероятности равно произведению вероятностей для соответствующих уровней ТЯЬ и СЯЬ, поскольку риски по этим параметрам име-
Значение уровня И^Ь
Рис. 7. Профиль вероятности успешного внедрения для параметра технологической готовности [1]
ют принципиально разную природу и могут рассматриваться как независимые.
Действительно, существуют различные факторы риска, уменьшающие вероятность перехода проекта в фазу коммерциализации, в том числе следующие: проблемы с интеграцией результата проекта в технологическую схему конечного продукта (ERL), высокая себестоимость производства (MRL), отсутствие эффективного организационного механизма коммерциализации (ORL), недостаточность ценностного предложения/ отсутствие ключевого преимущества по сравнению с альтернативными решениями (BRL), регулирование вопросов интеллектуальной собственности, низкая востребованность продукта рынком (CRL). Реализация всех перечисленных в качестве примера факторов риска зависит от принципиально разных по своей природе причин, поэтому авторы полагают их независимыми.
C учетом сказанного выше для расчета потенциала коммерциализации проекта Pap(Zcr ) используется составной вектор Zcr. С учетом референтных компетенций команды примем для Zcr значения TRL, MRL, ERL, соответствующие текущему уровню проекта: соответственно ct, cm, ee, и для ORL, BRL и CRL - уровни, соответствующие максимальным подтвержденным компетенциям участников команды проекта по этим параметрам: ro, rb, rc.
Таким образом, потенциал коммерциализации будет выражен как
Pap(Zcr ) = Pap(ct, cm, ce, ro, rb, rc) =
PctPcmftceProPrbPrc (1)
Поясним на примере. Пусть текущий вектор коммерциализации Zc = (4, 3, 3, 2, 4, 3), референтный (подтвержденным компетенциям) вектор коммерциализации Zr = (6, 6, 6, 6, 6, 6), а конечный вектор коммерциализации Z = (9, 9, 9, 9, 9, 9).
Тогда для расчета потенциала коммерциализации исполь-
зуем в качестве аргумента вектор 2ст = (4, 3, 3, 6, 6, 6). Далее по формуле (1) с учетом произведения вероятностей наступления событий по параметрам уровней готовности и данных рис. 7 получаем Рар(2ст ) = (0,45-0,3-0,3-0,8-0,8-0,8)= = 0,02.
Если же компетенции не подтверждены (нет референтных решений более высокого уровня, чем текущий), то три последние координаты ОКЦ ВЯЬ, СЯЬ остаются на текущем уровне. В этом случае потенциал коммерциализации Рар(лС) = (0,45-0,3-0,3-0,12-0,45-0,3) = = 0,00066.
Рассчитанная величина потенциала коммерциализации показывает, что при наличии подтвержденных компетенций из сотни аналогичных проектов с референциями команды по параметрам ORL, BRL и СЯЬ на уровне 6 будут успешно реализованы два проекта. В то время как при отсутствии подтвержденных компетенций будут успешно реализованы только семь проектов из десяти тысяч. На экспертном уровне можно сказать, что при таких низких показателях готовности проекта и компетенций команды сложно ожидать более высокой степени успешного внедрения.
Наличие компетенций по ОКЦ ВКЬ и СКЬ может быть сформировано заранее, если развитие проекта идет по принципам ТРЯВ То есть перед следующим уровнем целесообразно набирать недостающие компетенции, что возможно также за счет привлечения партнеров, дополняющих пул собственных компетенций команды проекта.
Таким образом, качественное составление календарного плана проекта в соответствии с методологией ТРКЬ позволяет существенно повысить потенциал коммерциализации проекта. Например, в рассмотренном примере он возрастает в 30 раз.
Подтверждением тому являются данные публичной статистики. Так, например, на основе анализа результатов 3200 стартапов компа-
ния Startup Genome Report подсчитала, что умирают 92% запущенных стартапов [13].
В статье [5] качественно показана та же тенденция с вероятностью реализации стартапов 1%. При этом в ней приводится в основном статистика по IT-стартапам, где вероятность коммерциализации на порядок выше, чем у аппаратных стартапов. Более того, коммерциализация проводится в такой гибкой организационной структуре, как стартап, не обремененной установившимися бюрократическими процедурами крупных корпораций.
Применительно к научным исследованиям, выполняемым вузами, дальнейшее развитие практики Ми-нобрнауки предварительной оценки перспектив коммерциализации НИОКР при финансировании исследований, например, в рамках Федеральной целевой прораммы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» с обязательным участием индустриального партнера, заинтересованного во внедрении и коммерциализации результатов НИОКР, является безусловно необходимым фактором достижения экономической эффективности научных исследований, финансируемых из средств государственного бюджета. Использование оценки результатов и динамики развития проектов с помощью методологии уровней готовности, разрабатываемое и внедряемое Ми-нобрнауки в последнее время, также подтверждает целесообразность дальнейшего развития обсуждаемой методологии.
Заключение
Резюмируя сказанное, отметим, что в настоящей статье предложена концепция применения методологии TPRL для численного определения потенциала коммерциализации НИОКР В рамках концепции введено понятие «вектор коммерциализации», определяющий путь развития
проекта в направлении наибольшего потенциала коммерциализации. Корректность положений концепции показана численными оценками потенциала коммерциализации и их сравнением с публичной статистикой выживания стартапов.
В статье показана существенная роль компетенций команды проекта в величине потенциала коммерциализации. На примере параметра TRL проведен анализ распределения и показано различие по уровню технологической готовности
НИОКР-разработок и НИОКР-ус-луг. Предложены определения этих понятий. Для НИОКР-услуг определены формулировки уровней Т^6-9.
Основные положения концепции и обоснованная в ней методология оценки потенциала коммерциализации НИОКР перспективны для использования в инновационных отраслях промышленности, научных учреждениях и высших учебных заведениях. Ее реализация может быть полезна для ускорения инновационного процесса в стране. Представленная концепция может также использоваться в процессе подготовки кадров в вузах по широкому кругу направлений и специальностей.
Авторы не претендуют на отсутствие в статье дискуссионных положений, но надеются, что высказанные предложения будут полезны для научных сотрудников, серьезно занимающихся внедрением своих разработок.
ЛИТЕРАТУРА
1. Комаров А.В., Слепцова М.А., Чечеткин Е.В., Шуртаков К.В., Третьякова М.В. Оценка команды исполнителей научно-технического проекта // Экономика науки. 2017. Т. 3, № 4. С. 250-261.
2. Петров А.Н., Сартори А.В., Филимонов А.В. Комплексная оценка состояния научно-технических проектов через уровень готовности технологий // Экономика науки. 2016. Т. 2, № 4. С. 244-260.
3. Путин В.В. Важнейшим конкурентным преимуществом ныне являются знания, технологии, компетенции. Это ключ к настоящему прорыву, к повышению качества жизни // Высшее образование сегодня. 2018. № 3. С. 2-5.
4. Сартори А.В, Сушков П.В., Манцевич Н.М. Школа бережливого НИОКР: практика подготовки исследователей в вузе с использованием грантов эндаумент-фонда // Высшее образование сегодня. 2018. № 7. С. 2-9.
5. Соколов М. Почему «взлетает» только 1% стартапов - и это нормально. URL: http://www.automotivecouncil.co.uk/wpcontent/ uploads/2011-02/Automotive-Technology-and-Manufacturing-Readiness-Levels.pdf (дата обращения: 14.11.2018).
6. Automotive Technology and Manufacturing Readiness Levels (2011) A guide to recognised stages of development. URL: https:// docplayer.net/23627310-Automotive-technology-and-manufacturing-readiness-levels-a-guide-to-recognised-stages-of-development-within-the-automotive-industry.html (дата обращения: 14.11.2018).
7 Bockenheimer C. The Airbus SHM Development Process // 2nd International Symposium on NDT in Aerospace. З. We.4. A.2.
8. DOE/National Energy Technology Laboratory-2015/1710. Technology Readiness Assessment // 2014 Technology Readiness Assessment - Clean Coal Research Program, January 2015, 144 P. URL: https://www.netl.doe.gov/File Library/Research/Coal/ Reference Shelf/D0E-NETL-20151710-2014-Technology-Readiness-Assessment-Comprehensive.pdf (дата обращения: 14.11.2018).
9. Graettinger C.P., Caroline P. et al. Using the Technology Readiness Levels Scale to Support Technology Management in the DOD's ATD/ STO Environments (A Findings and Recommendations Report Conducted for Army CECOM). URL: https://resources.sei.cmu.edu/ asset_files/SpecialReport/2002_003_001_13931.pdf (дата обращения: 14.11.2018).
10. HarbertA.P. Mind Map and Demonstration of the Ouicklook Methodology for Technology Commercialization. URL: (https:// repositories.lib.utexas.edu/bitstream/handle/2152/22506/harbert_thesis_20126.pdf?sequence=1 (дата обращения: 14.11.2018).
11. Mankins J.C. Technology readiness levels / Advanced Concepts Office of Space Access and Technology NASA. URL: https://
www.researchgate.net/pubLication/247705707_TechnoLogy_Readiness_LeveL_-_A_White_Paper, (дата обращения: 14.11.2018).
12. Mavris D.N., Bandt O, Brewer J.T. A method for the Identification and Assessment of Critical Technologies Needed for an Economically Valuable HSCT // School of Aerospace Engineering Georgia Institute of Technology Atlanta. URL: https://smartech.gatech.edu/ bitstream/handLe/1853/6364/AIAA-95-3887pdf?sequence=1&isALLowed=y (дата обращения: 14.11.2018).
13. Startup Genome Report Extra on Premature Scaling. URL: https://s3.amazonaws.com/startupcompass-pubLic/StartupGenomeReport2_ Why_Startups_FaiL_v2.pdf,f (дата обращения: 14.11.2018).
14. Technology Readiness Assessment (TRA) Guidance (2011) United States Department of Defense. URL: https://www.skateLescope. org/pubLic/2011-11-18_WBS-S0W_DeveLopment_Reference_Documents/DoD_TRA_JuLy_2009_Read_Version.pdf (дата обращения: 14.11.2018).
15. The TRL ScaLe as a Research & Innovation PoLicy TooL (2014) / EARTO Recommendations. URL: http://www.earto.eu/fiLeadmin/ content/03_PubLications/The_TRL_ScaLe_as_a_R_I_PoLicy_TooL_-_EART0_Recommendations_-_FinaL.pdf (дата обращения: 14.11.2018).
LITERATURA
1. KomarovA.V., Slepczova M.A., Chechetkin E.V, ShurtakovK.V., Tretyakova M.V. Ocenka komandy' ispoLniteLej nauchno-texnicheskogo proekta // E'konomika nauki. 2017. T 3, № 4. S. 250-261.
2. PetrovA. N., Sartori A. V, FilimonovA. V. KompLeksnaya ocenka sostoyaniya nauchno-texnicheskix proektov cherez uroven' gotovnosti texnoLogij // E'konomika nauki. 2016. T. 2, № 4. S. 244-260.
3. Putin V.V. Vazhnejshim konkurentny'm preimushhestvom ny'ne yavLyayutsya znaniya, texnoLogii, kompetencii. E'to kLyuch k nastoyashhemu prory'vu, k povy'sheniyu kachestva zhizni // Vy'sshee obrazovanie segodnya. 2018. № 3. S. 2-5.
4. Sartori A.V, Sushkov P.V., Mancevich N.M. ShkoLa berezhLivogo NIOKR: praktika podgotovki issLedovateLej v vuze s ispoL'zovaniem grantov e'ndaument-fonda // Vy'sshee obrazovanie segodnya. 2018. № 7. S. 2-9.
5. Sokolov M. Pochemu «vzLetaet» toL'ko 1% startapov - i e'to normaL'no. URL: http://www.automotivecounciL.co.uk/wpcontent/ upLoads/2011-02/Automotive-TechnoLogy-and-Manufacturing-Readiness-LeveLs.pdf (data obrashheniya: 14.11.2018).
6. Automotive TechnoLogy and Manufacturing Readiness LeveLs (2011) A guide to recognised stages of deveLopment. URL: https:// docpLayer.net/23627310-Automotive-technoLogy-and-manufacturing-readiness-LeveLs-a-guide-to-recognised-stages-of-deveLopment-within-the-automotive-industry.htmL (data obrashhe-niya: 14.11.2018).
7 Bockenheimer C. The Airbus SHM DeveLopment Process // 2nd InternationaL Symposium on NDT in Aerospace. Z. We.4. A.2.
8. DOE/NationaL Energy TechnoLogy Laboratory-2015/1710. TechnoLogy Readiness As-sessment // 2014 TechnoLogy Readiness Assessment -CLean CoaL Research Program, January 2015, 144P. URL: https://www.netL.doe.gov/FiLe Library/Research/CoaL/ Reference SheLf/D0E-NETL-20151710-2014-TechnoLogy-Readiness-Assessment-Comprehensive.pdf (data obrashheniya: 14.11.2018).
9. Graettinger C. P., Caroline P. et al. Using the TechnoLogy Readiness LeveLs ScaLe to Support TechnoLogy Management in the DOD's ATD/STO Environments (A Findings and Recommendations Report Conducted for Army CECOM). URL: https://resources.sei.cmu. edu/asset_fiLes/SpeciaLReport/2002_003_001_13931.pdff (data obrashheniya: 14.11.2018).
10. Harbert A.P. Mind Map and Demonstration of the OuickLook MethodoLogy for TechnoL-ogy CommerciaLization. URL: https:// repositories.Lib.utexas.edu/bitstream/handLe/2152/22506/harbert_thesis_20126.pdf?sequence=1 (data obrashheniya: 14.11.2018).
11. Mankins J.C. TechnoLogy readiness LeveLs / Advanced Concepts Office of Space Access and TechnoLogy NASA. URL: https:// www.researchgate.net/pubLication/247705707_TechnoLogy_Readiness_LeveL_-_A_White_Paper (data obrashheniya: 14.11.2018).
12. Mavris D.N., Bandt O, Brewer J.T. A method for the Identification and Assessment of CriticaL TechnoLogies Needed for an EconomicaLLy VaLuabLe HSCT // SchooL of Aerospace Engineering Georgia Institute of TechnoLogy AtLanta. URL: https://smartech.gatech.edu/ bitstream/handLe/1853/6364/AIAA-95-3887.pdf?sequence=1&isALLowed=y (data obrashheniya: 14.11.2018).
13. Startup Genome Report Extra on Premature ScaLing. URL: https://s3.amazonaws.com/startupcompass-pub-Lic/StartupGenomeReport2_ Why_Startups_FaiL_v2.pdf (data obrashheniya: 14.11.2018).
14. TechnoLogy Readiness Assessment (TRA) Guidance (2011) United States Department of Defense. URL: https://www.skateLescope. org/pubLic/2011-11-18_WBS-SOW_DeveLopment_Reference_Documents/DoD_TRA_JuLy_2009_Read_Version.pdf (data obrashheniya: 14.11.2018).
15. The TRL ScaLe as a Research & Innovation PoLicy TooL (2014) / EARTO Recommendations. URL: http://www.earto.eu/fiLeadmin/ content/03_PubLications/The_TRL_ScaLe_as_a_R_I_PoLicy_TooL_-_EARTO_Recommendations_-_FinaL.pdf (data obrashheniya: 14.11.2018).
