CC BY
85Клочков В.В.
д.э.н., к.т.н., заместитель генерального директора НИЦ «Институт им. Н.Е. Жуковского»; в.н.с. Института
проблем управления им. В. А. Трапезникова РАН
ГОСУДАРСТВО, НАУКА И БИЗНЕС В СИСТЕМЕ УПРАВЛЕНИЯ ИННОВАЦИОННЫМ РАЗВИТИЕМ
Ключевые слова: инновационные процессы, управление, организация, опережающий научно-технический задел, государство, бизнес, прикладная наука, распределение функций и ответственности.
Введение
В ряде предшествующих работ с участием автора [3, 6] описана и обоснована современная система организации создания инновационной наукоемкой продукции и необходимых для этого технологий. В ее основе - концепция т.н. опережающего создания научно-технического задела (НТЗ). Имеется в виду не только то, что сначала в рамках прикладных исследований создаются необходимые технологии (причем, интегрированные друг с другом, чтобы избежать отрицательной интерференции, и отработанные для снижения инновационных рисков). И лишь после подтверждения наличия необходимого НТЗ можно приступать к разработке новой продукции, затем - подготовке ее производства, собственно производству и т.д. Такая последовательность очевидна даже в рамках традиционной «линейной» модели инновационных процессов (см., например, [1, 2]): сначала выполняются прикладные научно-исследовательские работы (НИР), затем - опытно-конструкторские работы (ОКР) и технологическая подготовка производства (ТИП). Однако концепция опережающего создания НТЗ содержит принципиально важное отличие от традиционных представлений об эффективной организации инновационных процессов.
Традиционно считалось, что прикладные НИР, основная функция которых - создание новых технологий для разработки перспективной продукции, должны быть нацелены на создание технологий с определенными характеристиками, требуемыми для перспективной продукции. Иричем эти требования формирует бизнес, высокотехнологичная промышленность, разработчик и производитель продукции - а он, в свою очередь, должен ориентироваться на требования рынка своей продукции. Т.е. ведущей движущей силой инновационного развития является запрос рынка, market pull [10]. Однако, несмотря на кажущуюся бесспорность этих принципов для рыночной экономики1, в реальности буквальное следование им все чаще приводит к неудовлетворительным результатам, причем именно с рыночной точки зрения. Особенно проблемы обострились в период технологического разрыва, когда возможности улучшения известных технологий уже исчерпаны, а принципиально новые еще неизвестны достоверно, только идет их поиск. В таких условиях прикладные НИР становятся чрезвычайно высокорисковыми, большая часть поисков окончится неудачей, и лишь немногие идеи окажутся работоспособными и эффективными, принеся желаемое «прорывное» улучшение характеристик перспективной продукции. Возможно, в обозримом будущем таких технологий не появится, и требования рынка (транслируемые разработчиками и производителями продукции организациям прикладной науки) придется снижать, либо, сдвигать сроки начала разработки и производства продукции, что также приводит к потерям.
Столкнувшись с массовыми случаями срывов сроков создания инновационной продукции, невыполнения изначально установленных требований к ней - и в гражданской, и в оборонной сфере, причем, и в ведущих технологических державах мира (США, Великобритании, Японии, Германии, Франции и др.) - государство и бизнес осознали необходимость поиска новых принципов управления инновационным развитием. В условиях перехода к новому технологическому укладу, необходимости поиска кардинально новых технологических решений жесткие и детальные требования к новым технологиям и продукции нередко не могут быть выполнены в заданные сроки, и бизнес, «заказавший» определенные технологии, становится заложником своих же требований. Однако, не следует бросаться и в другую крайность, отдавая целеполагание в процессах развития технологий самим исследователям прикладной науки, разработчикам технологий. Буквальное следование принципу technology push [1] приводит к тому, что прикладная наука создает те технологии, которые у нее получается создать (в т.ч. исходя из личных научных интересов отдельных исследователей), не заботясь о том, нужны ли промышленности и рынкам именно такие технологии, можно ли на их основе разработать конкурентоспособную продукцию, решить насущные социально-экономические и военно-политические задачи государства. Такая прикладная наука перестает отвечать своему предназначению и определению.
Более здравым в описанных условиях смены технологических укладов оказался иной принцип организации инновационных исследований и разработок. Он сочетает в себе принципы market pull и technology push. Ироцессы фор-
1 Если речь идет о продукции военного назначения, тогда вместо требований рынка выступают требования государственного заказчика - еще более однозначные и формализованные. Т.е. суть описываемого принципа управления инновационным развитием не меняется. Для однообразия и требования оборонного ведомства здесь можно называть «требованиями рынка».
мирования требований и оценки технологических возможностей идут «навстречу друг другу», итерациями, постепенно сближаясь. Т.е. вначале ставятся не детальные требования к будущим продуктам и необходимым технологиям, а только требования высшего уровня, обусловленные генеральными задачами, которые требуется решить с помощью этой продукции. Прикладные НИР ведутся в нескольких направлениях, которые, возможно (подчеркнем, именно «возможно» - заранее это неизвестно, иначе в научных исследованиях не было бы надобности), позволили бы решить эти задачи. Для снижения рисков неудачи или затягивания сроков, для повышения вероятности найти желаемые технологические решения, желательна диверсификация направлений поиска (см. [4]). Рассматривается широкий спектр альтернативных идей и технических концепций.
Причем прикладные исследования ведутся пошагово - от простых и относительно дешевых модельных расчетов и лабораторных экспериментов к более сложным и ресурсоемким работам (расчетным и экспериментальным), в которых уже изучаются элементы натурных систем и, в конце концов, сами опытные прототипы будущих изделий, а условия, в которых они проверяются, становятся все более приближенными к реальным. Но переход к очередной стадии исследований (соответствующие вехи называются уровнями готовности технологий, УГТ, или TRL, Technology Readiness Level, [11, 12]) возможен не раньше, чем завершена предыдущая. И на каждой стадии должны быть получены с заданной достоверностью оценки работоспособности новых технологий, если уже возможно - сравнена эффективность альтернативных концепций, что позволяет отбросить явно доминируемые и сосредоточиться на более перспективных.
Описанный подход позволяет сократить ожидаемые стоимость и длительность исследований и разработок в условиях высоких рисков, присущих ситуации технологического разрыва. В конце концов, выбирается наиболее эффективная концепция, содержащая определенный набор новых технологий. Причем ее работоспособность и превосходство над альтернативными концепциями подтверждены достаточно достоверно в условиях, близких к натурным. Проведена системная интеграция совокупности новых технологий, т.е. доказано, что они совместимы друг с другом, а не наоборот, что нередко бывает. По наиболее распространенным в мире и уже принятым в некоторых отраслях российской промышленности шкалам УГТ [11, 12], этот уровень готовности технологий является шестым (УГТ 6). На нем завершается стадия прикладных НИР.
Только после этого становится ясно, какой именно новый продукт, с одной стороны, нужно создавать, т.к. он удовлетворит генеральным целям, а с другой стороны - можно реально создать в заданные сроки, поскольку необходимые технологии отработаны, причем в комплексе. Только в описанный момент можно принимать решение о создании конкретного нового продукта с конкретными характеристиками. Поскольку он основан на выбранной технической концепции, теперь - но не ранее - возможна и детализация требований к будущей продукции и используемым технологиям. Простой пример: если требуется радикально сократить расход углеводородных топлив гражданской авиацией, некорректно ставить требования к удельному расходу керосина газотурбинным двигателем (ГТД). Вполне возможно, что в рамках такой, традиционной до сих пор, технической концепции как классический самолет с ГТД поставленная цель вообще недостижима, а решение генеральной задачи возможно на основе иных концепций - воздушных судов с электрическими силовыми установками, или работающими на сжиженном водороде. Для таких концепций детализировать требования к удельному расходу керосина бессмысленно.
Итак, принятие решения о создании конкретного продукта и детализация требований к его характеристикам и необходимым технологиям возможны только по окончании стадии прикладных НИР и создании целостного научно-технического задела для разработки эффективного продукта. В этом отличие концепции опережающего создания НТЗ от традиционной модели инновационных процессов, в которой ОКР также можно начинать лишь по окончании прикладных НИР, но решение о создании нового продукта с заданными характеристиками принимается изначально. И уже «под» эти требования при традиционной организации инновационных процессов разворачиваются прикладные НИР, которые, как сказано выше, вполне могут окончиться неудачей, или потребуют намного больше времени и средств, чем ожидалось.
И в традиционной системе организации создания новых продуктов и технологий для прикладной науки находится обширное поле деятельности. Однако это - отнюдь не создание опережающего НТЗ, описанное выше. Это не опережающие, а «догоняющие» прикладные исследования, «латание дыр». Поспешно принятые решения о создании новой продукции под жестко определенные (как декларируется организациями промышленности, продиктованные рынком) требования часто приводят к тому, что новый продукт уже разработан, иногда даже выпускается и продается. Но неготовность, недостаточная степень отработки технологий приводит к недостижению обещанных характеристик новой продукции, к отказам, рекламациям потребителей, в некоторых областях техники - даже к авариям и катастрофам. Для решения вскрывшихся проблем приходится уже постфактум разворачивать прикладные НИР (причем, тоже в нескольких направлениях, т.к. правильное решение изначально неочевидно). Разумеется, такие явления приводят к существенным потерям и времени, и прочих ресурсов. Известен закон «1-10-100», гласящий, что стоимость исправления допущенных ошибок на каждой последующей стадии жизненного цикла продукции приблизительно на порядок выше, чем на предыдущем. Поэтому такая роль прикладной науки не только неудовлетворительна для нее самой (поскольку она играет подчиненную роль придатка высокотехнологичных корпораций), но и приносит общественный ущерб - который в рыночной экономике может перераспределяться между государством, бизнесом, потребителями инновационной продукции.
В рамках концепции опережающего создания НТЗ нуждается в уточнении или переосмыслении распределение ролей государства, бизнеса и науки в управлении инновационным развитием.
Должен ли бизнес выступать заказчиком прикладных исследований и разработок?
Хотя традиционно принято считать, что в рыночной экономике ведущую роль в управлении инновационным развитием должен играть бизнес, заинтересованный в новых технологиях, он должен финансировать прикладные исследования и разработки, однако фактически это и не реализуется, и не будет эффективным с точки зрения всех участников инновационного процесса.
Что касается финансирования прикладных НИР, даже в странах с рыночной экономикой создание НТЗ в ведущих наукоемких отраслях промышленности проводится в государственном секторе прикладной науки при решающей роли государственного финансирования. Причины - в экономических особенностях прикладных НИР как высокорисковой деятельности. Если бы каждая высокотехнологичная корпорация самостоятельно пыталась создать необходимый НТЗ, диверсифицируя направления поиска (что, как обосновано выше, необходимо для снижения рисков), ей пришлось бы затратить значительные ресурсы, и спектр направлений поиска остался бы сравнительно узким. Другие, конкурирующие корпорации, вынуждены дублировать те же прикладные НИР, и каждая понесет соответствующие затраты в полной мере. Если же проводить прикладные НИР централизованно, в интересах всех потенциальных «потребителей» новых технологий, постоянные затраты на НИР распределятся на всех участников кооперации и на весь объем их продукции. Кроме того, консолидация ресурсов - не столько даже финансовых, сколько кадровых, интеллектуальных - позволит усилить диверсификацию направлений поиска, сократив ожидаемую длительность стадии прикладных НИР и, возможно, получить более эффективные их результаты. Как правило, в странах с развитой рыночной экономикой и высокотехнологичным бизнесом прикладные НИР по созданию НТЗ, тем более, «прорывного», проводятся в рамках масштабных кооперационных программ (часто международных). Конкурирующие корпорации могут вносить совместный, и очень весомый вклад в их финансирование, будучи заинтересованными в скорейшем получении нужного научно-технического задела. Но координирующую роль в таких программах почти всегда играет государство. Что касается Российской Федерации, то в нашей стране высокотехнологичный бизнес в большинстве отраслей не является основным инвестором в прикладные исследования и разработки. Эту роль вынужденно принимает на себя государство.
Но даже в том случае, когда технологии создаются в государственном секторе прикладной науки, за счет средств государственного бюджета, нередко считается, что бизнес должен определять направления развития технологий, формировать к ним требования. На первый взгляд, это справедливо, поскольку именно бизнесу далее предстоит внедрять новые технологии в своей продукции, именно бизнес работает на рынках, удовлетворяя потребности конечных потребителей (и, можно полагать, лучше их знает). Однако и эти аргументы небесспорны.
В-первых, для радикально инновационных продуктов рынки еще не сформированы, и квалифицированно оценить спрос, обосновать требования к этим продуктам бизнес не может. Это задача более долгосрочного прогнозирования, чем привычные для маркетологов задачи прогнозирования рынков. Поэтому она в большей степени относится к сфере научных исследований, чем к практическому маркетингу (включая даже инновационный маркетинг, который занимается, в т.ч., «строительством» будущих рынков и формированием спроса на радикально инновационные блага, подробнее см. [8]). Здесь необходимо прогнозировать и планировать качественные изменения сферы применения продукции.
Во-вторых, горизонт планирования бизнеса в принципе короче, чем горизонт, необходимый для планирования развития технологий. Если прикладной науке предлагается ориентироваться на нужды бизнеса, фактически, чаще всего речь идет о привязке к текущим производственным программам, модельным рядам корпораций. Однако эти модельные ряды сформированы на базе известных технологий и технических концепций, и не предполагают существенных инноваций.
В какой момент и в каком качестве должен подключаться бизнес к управлению инновационным развитием своих отраслей и областей техники?
С одной стороны, технические концепции, совокупности взаимосвязанных технологий, уже являются «зародышами» будущих образцов наукоемкой продукции. И уже на стадии формирования комплекса новых технологий и их системной интеграции желательно участие бизнеса как потенциального разработчика и производителя соответствующего продукта. Участие представителей бизнеса в прикладных исследованиях позволит им раньше знакомиться с новыми технологиями и техническими концепциями, что ускорит последующие ОКР, сократит риск ошибок.
С другой стороны, важным источником эффективности предлагаемой системы организации прикладных исследований и является возможность применения одной и той же концепции в нескольких рыночных нишах - например, концепция дозвукового тяжелого воздушного судна может применяться для разработки пассажирских и грузовых самолетов, бомбардировщиков, танкеров для заправки топливом в воздухе и др. И даже в одной рыночной нише разными производителями может быть разработано несколько конкурирующих образцов продукции.
Однако между этими соображениями нет неразрешимых противоречий. Даже конкурирующие компании могут совместно участвовать в прикладных НИР, в развитии перспективной концепции, на базе которой потом (по достижении УГТ 6) смогут разработать конкретные образцы продукции - возможно, принадлежащие к разным платформам. Кооперация на доконкурентной стадии вполне допустима (с точки зрения антимонопольного законодательства большинства стран мира, международных договоров, в т. ч. в рамках Всемирной торговой организации) и широко распространена в реальности. Так, конкурирующие компании в авиастроении, авиационном двигателестроении и автомобилестроении нередко разрабатывают совместно комплексы новых технологий в рамках т.н. общих платформ (см., например, [7]).
Роли государства и прикладной науки в управлении инновационным развитием
Создание НТЗ в государственной прикладной науке - форма государственной поддержки наукоемкой промышленности. И государство, финансируя создание технологий, вправе, во-первых, направлять их развитие в желательное для общества русло, тогда как корпоративные интересы могут расходиться с общественными. Во-вторых, многие отрасли российской высокотехнологичной промышленности - прежде всего, относящиеся к оборонно-промышленному комплексу - в значительной мере существуют за счет государственного бюджета, не только на стадии НИР, но пока и на стадиях ОКР, ТПП и собственно серийного производства продукции (которая во многих отраслях и производится, преимущественно, по госзаказу). Поэтому государство тем более вправе (и даже обязано) контролировать общественную эффективность расходования госбюджетных средств на поддержку этих предприятий и на закупку их продукции. Обеспечение ее высокого качества и эффективности критически зависит от уровня совершенства технологий, использованных при ее создании, от полноты и корректности использования НТЗ. Сроки и стоимость создания новых образцов критически зависят от готовности новых технологий к внедрению к моменту начала ОКР. Если проект нового образца основан на незрелых технологиях, работоспособность (и, тем более, эффективность) которых не подтверждена, не проведена системная интеграция технологий друг с другом, это практически наверняка приводит к срывам сроков создания образцов, к недостижению заданного уровня характеристик, к перерасходу дефицитных ресурсов. В свою очередь, если желаемая новая продукция была призвана решать стратегические государственные задачи - социально-экономические или оборонные - такие срывы могут критически сказаться как на социально-экономическом развитии, так и на состоянии национальной безопасности страны.
Из этого следует, что государство имеет право и даже должно контролировать принятие организациями высокотехнологичной промышленности решений о создании новых образцов продукции (тем более, за государственный счет и в расчете на производство, преимущественно, по государственному заказу), формирование требований к ним. Как обосновано выше, принимать такие решения можно лишь после проработки альтернативных технических концепций, доведения совокупности включенных в них технологий до УГТ 6, и сравнения эффективности этих концепций. Только тогда можно фиксировать конкретные требования к новому образцу, поскольку уже известно, что, во-первых, они достижимы, и, во-вторых, именно в рамках данной технической концепции наиболее целесообразно (с точки зрения генеральных целей) создавать новый образец.
Фактически, государство выдает корпорации заказ на проектирование и последующее производство нового образца продукции с заданными характеристиками в рамках выбранной технической концепции (условный пример: определено, что необходимо разработать именно конвертоплан с поворотным крылом, а не вертолет той или иной схемы, с максимальной скоростью полета 550 км/ч и т.п.).
В то же время, следует избегать неэффективного организационно-экономического механизма государственного финансирования ОКР, сложившегося во многих отраслях российской высокотехнологичной промышленности. А именно, государство заказывает ОКР и проект нового образца у корпорации, и даже ставит результат ОКР, проект изделия, на свой баланс. Последнее формально делается для сокращения налогооблагаемой базы корпораций как дополнительная мера их финансовой поддержки. Однако сам такой механизм, как обосновано (в т.ч. путем экономико-математического моделирования) в работе [9], создает искаженные экономические стимулы для корпораций. Они при таком механизме государственного финансирования могут быть слабо заинтересованы в сокращении длительности и стоимости разработки новых образцов, в повышении их качества и конкурентоспособности. Напротив, возможно, что для них «чем хуже, тем лучше», т.е. они могут быть вообще не заинтересованы в начале производства и продаж новой продукции, получая более высокую и почти гарантированную прибыль за счет государства в период разработки.
Поэтому рациональный принцип оказания государственной поддержки (которая, в самом деле, обязательно требуется наукоемким корпорациям на предпроизводственных стадиях жизненного цикла продукции и даже в начале периода производства, продаж и освоения новых продуктов потребителями, подробнее см. [5]) и, одновременно, обеспечения качества создания новой продукции, таков. Государственный заказчик, по окончании конкурса технических концепций и выбора оптимальной из их числа,
• фиксирует требования к перспективному образцу и концепцию, на основе которой он должен быть разработан,
• передает высокотехнологичному бизнесу из государственного сектора прикладной науки необходимый НТЗ (причем, интегрированный и зрелый, достигший УГТ 6),
• предоставляет необходимую для проведения ОКР и ТПП сумму на условиях возвратного финансирования (с возможными льготами по возврату средств в случае неудачи проекта, которая не исключена даже при создании эффективного комплекса технологий и эффективного продукта),
• и контролирует начало поставок новой продукции, ее освоение в эксплуатации (если таковое требуется).
В то же время, для выполнения таких функций «квалифицированного заказчика» государственные органы власти должны располагать собственными обширными компетенциями во всех областях техники и технологий, что в современной парадигме «малого государства» невозможно. Остается делегировать поддержку принятия решений организациям прикладной науки - официально уполномоченным, обладающим необходимыми компетенциями, но и несущими ответственность за свои заключения, выводы и рекомендации. Необходимое научное сопровождение всех соответствующих процессов управления включает в себя
• объективную оценку эффективности технологий и технических концепций, их сопоставление,
• анализ достаточности НТЗ для начала ОКР,
• контроль полноты внедрения новых технологий в проекте,
• независимый контроль достижения заданных характеристик образца (в т.ч. сертификацию новой продукции в тех областях, где она предусмотрена, или государственные испытания),
• учет опыта эксплуатации (применения) новой продукции и выработку рекомендаций по коррекции конструктивно-производственных недостатков.
Эти функции поддержки принятия решений должны осуществлять организации государственного сектора прикладной науки, уполномоченные государством на выполнение этих, фактически, государственных функций. Т.е. прикладная наука, помимо собственно создания НТЗ и оказания наукоемкой промышленности помощи «в натуральном виде», технологиями, становится еще и важным участником процессов управления инновационным развитием своей отрасли. Не только «мозгом» государственного заказчика, но и «оком государевым», независимым контролером процессов создания новой продукции (в значительной мере предназначенной для государственных нужд и нередко, как уже говорилось выше, создаваемой за государственный счет).
Но для выполнения таких функций - иногда весьма ресурсоемких (так, сертификационные испытания продукции в некоторых отраслях требуют чрезвычайно дорогостоящей и масштабной экспериментальной, стендовой и полигонной баз) - прикладная наука должна обладать необходимыми ресурсами. Иричем, источником средств - как на поддержание мощностей, так и собственно на выполнение прикладных НИР п вышеописанных экспертных функций -ни в коем случае не могут быть средства высокотехнологичных корпораций. Такое положение дел (сейчас весьма распространенное в Российской Федерации) порождает конфликты интересов, исключает независимость и объективность прикладной науки по отношению к бизнесу как «объекту» контроля. Следовательно, организации прикладной науки должны гарантированно финансироваться государством. Иричем, финансирование выполнения описанных выше экспертных функций должно быть даже приоритетным по отношению к финансированию создания новых технологий.
Заключение
В рамках современной концепции организации разработки новых технологий и наукоемкой продукции некорректно делегировать бизнесу детальное формирование требований к необходимым технологиям. Бизнес, или даже в большей степени - государство, задают требования лишь в общем виде, как требования к решению целевых задач. Ирикладная наука исследует альтернативные технические концепции, определяя среди них наиболее реалистичную и эффективную с точки зрения достижения генеральных целей. Только после этого можно принимать решение о создании конкретного нового продукта и детализировать требования к нему. Если продукция разрабатывается с использованием средств государственного бюджета или производится по государственному заказу, контроль за таким решением должен оставаться за государством.
Создание научно-технического задела целесообразно проводить централизованно - в государственном секторе прикладной науки или, по крайней мере, под его контролем. Бизнес может участвовать в прикладных исследованиях (как финансовыми ресурсами, так и своими компетенциями - научными, производственными, организационными), причем, здесь целесообразна кооперация даже между конкурирующими компаниями.
Государственный сектор прикладной науки, помимо создания научно-технического задела, выполняет для органов государственного управления функции «мозгового центра» для поддержки принятия решений, а также независимого эксперта, контролирующего общественную эффективность инновационной деятельности бизнеса на всем протяжении жизненного цикла продукции.
Список литературы
1. Гареев Т.Ф. Эволюция моделей инновационного процесса // Вестник ТИСБИ. 2006. - № 2. - С. 24-32.
2. Гольдштейн Г.Я. Стратегический инновационный менеджмент. - Таганрог: Издательство ТРТУ, 2004. - 267 с.
3. Дутов А.В., Клочков В.В., Рождественская С.М. Эффективные принципы стратегического планирования и организации разработки новых технологий и наукоемкой продукции // Друкеровский вестник. 2018. - № 5. - С. 99-112.
4. Иванова Н.В., Клочков В.В. Экономические проблемы управления высокорисковыми инновационными проектами в наукоемкой промышленности // Проблемы управления. - М., 2010. - № 2. - С. 25-33.
5. Клочков В.В. Проблемы государственной финансовой поддержки развития российской авиационной промышленности // Аудит и финансовый анализ. - М., 2012. - № 5. - С. 163-172.
6. Клочков В.В., Лукашов А.М., Максимов В.В., Рождественская С.М. Опережающее создание научно-технического задела в интересах развития вооружений, военной и специальной техники // Военная мысль. 2018. - № 12. - С. 23-32.
7. Палкин В.А., Бакалеев В.П. Стратегия ведущих зарубежных авиадвигателестроительных компаний в XXI веке. - М.: ЦИАМ, 2002. - 45 с.
8. Секерин В.Д. Инновационный маркетинг: Учебник. - М.: ИНФРА-М, 2012. - 238 с.
9. Селезнева И.Е. Оптимальная стратегия государственного финансирования разработки высокотехнологичной продукции // Друкеровский вестник. 2018. - № 6. - С. 37-50.
10. Lundvall B.-A. Product Innovation and User-Producer Interaction // Aalborg University Press, Industrial Development Research Series. 1985. - Vol. 31.
11. Nolte W.L., Kennedy B.C., Dziegiel R.J. Technology readiness level calculator // NDIA Systems Engineering Conference. 2003.
12. Technology Readiness Assessment (TRA) Guidance / US Department of Defense. 2011.
