CC BY
1571А.Н. ПЕТРОВ,
к.х.н., генеральный директор, ФГБНУ «Дирекция НТП», [email protected] А. В. САРТОРИ,
к.ф.- м.н., Специалист отдела информационно-аналитического и организационного обеспечения ФГБНУ «Дирекция НТП», [email protected] А. В. ФИЛИМОНОВ,
Руководитель программ поддержки научно-технических проектов ООО «Интегрированные системы», [email protected]
комплексная оценка состояния научно-технических проектов через уровень готовности технологий
УДК 338.28, 378.4
Петров А. Н, Сартори А. В., Филимонов А. В. Комплексная оценка состояния научно-технических проектов через уровень готовности технологий (ФГБНУ «Дирекция НТП» Минобрнауки России, г. Москва, Россия, орг-я, г. Москва, Россия)
Аннотация. В статье предложена сбалансированная методология оценки уровня готовности научно-технических инновационных проектов для коммерциализации (TPRL), позволяющая определить динамику и сбалансированность развития проектов, использующая унифицированные подходы, применяемые при оценке готовности технологий.
Проверка методологии проведена на проектах Федеральных целевых программ «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы» и «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы». Полученные результаты показали возможность применения методологии для оценки проектов, повышения эффективности экспертной деятельности при оценке проектов, осуществления мониторинга состояния отдельного проекта и совокупности проектов (портфель). Применение методологии позволило повысить эффективность управления отдельным проектом и портфелем проектов. Применение методология TPRL позволит исполнителям проектов, промышленным партнерам, инвесторам и инновационным промышленным компаниям повысить эффективность своей деятельности. Ключевые слова: уровень готовности технологий, ТРоценка проектов, экспертиза, портфель проектов, методология.
DOI W.22394/24W-132X-2016-2-4-244-260
«Ввиду краткости нашей жизни мы не можем позволить себе роскошь заниматься вопросами, не обещающими новых результатов»
Л. Ландау
Реализация Стратегии инновационного развития России до 2020 г. [1] предполагает определение и расчет итоговых и промежуточных показателей эффективности развития инновационных проектов и их готовности для коммерциализации. При этом важно проводить сквозную оценку готовности проектов для коммерциализации на разных этапах вплоть до внедрения с использованием единой метрики. Совершенствование оценки развития инновационных проектов и их готовности для коммерциализации (далее готовность проекта) с целью повышения ее эффективности и качества стоит на повестке дня большинства организаций, участвующих в инновационной деятельности.
Несмотря на практику применения отдельных метрик оценки готовности технологий, в настоящее время не сформирована уни-
© А.Н. Петров, А. В. Сартори, А. В. Филимонов, 2016 г.
фицированная и сбалансированная система оценки готовности проектов, признаваемая всеми участниками инновационного процесса. Экспертная оценка, применяемая во многих случаях, ресурсозатратна и не всегда сбалансирована, требует привлечения высококвалифицированных специалистов и длительного времени.
Кроме того, важно разделять оценку уровня развития технологий как таковых и развития проектов, в рамках которых проводится исследование и осуществляется коммерциализация результатов исследований. Параллельно с развитием технологий необходимо обращать внимание и на иные задачи, без решения которых риск успешной коммерциализации результатов исследований существенно возрастает.
Методология сбалансированного подхода к оценке готовности проектов в целом - методология TPRL (Technology Project Readiness Level), предложена в настоящей статье. В качестве отправной точки для разработки такой методологии взяты унифицированный метод оценки уровня готовности технологий TRL (Technology Readiness Level) [2] и метод Stage-Gate® [3]. Методология TPRL, методы TRL и Stage-Gate® используют системный подход, что позволяет в единых терминах описать уровни готовности проектов для широкого круга дисциплин.
Крупные технологические компании используют метод TRL с целью экономии ресурсов, сокращения времени разработки и стоимости новой продукции [4].
В ряде работ для более полной оценки уровня готовности технологий предприняты попытки дополнить TRL другими параметрами, например, производственной готовностью [5], коммерческой готовностью [6]. Однако при оценке проектов в целом необходимо характеризовать их готовность в терминах более широкого набора параметров, таких, например, как компетенции команды, состояние конкурентной среды.
В методологии TPRL предложен вариант набора параметров, характеризующих сбалансированное развитие проектов в целом. Недостаточное внимание к отслеживанию любого из этих параметров при реализации
проекта может привести к неудаче на этапе коммерциализации. Методологии TPRL позволяет независимо отслеживать уровень готовности по каждому параметру.
Для целей визуализации результат оценки удобно представить по 6-ти осям на плоскости. Положение точек на осях определяется значением соответствующего параметра.
Все параметры характеризуется уровнями, каждый уровень содержит подуровни, включающие в себя результаты решения задач, являющихся составными частями оцениваемого проекта.
Значения параметров вычисляются по наличию документов, фиксирующих решение задач.
Методология TPRL позволяет численно определить следующие характеристики проекта:
- уровень готовности технологии, соответствующий классическому методу TRL (Уровень TPRL) от 1 до 9, например, 5;
- индекс готовности параметра по каждому из 6-ти ключевых параметров от 0 до 9, например, 5,25;
- интегральный уровень готовности проекта к коммерциализации (Индекс TPRL) от 0 до 9, например, 2,63;
- динамику выполнения работ по проекту в диапазоне от 0 до 9, например, от 2,37 до 4,53,
- оценку сбалансированности готовности проекта с учетом индексов готовности по 6-ти параметрам в цифровом и графическом представлении.
В оценке уровня готовности проекта методология TPRL опирается на наличие документов, фиксирующих получение определенных результатов работ. Основываясь на формальном учете документов, TPRL дает простой и эффективный метод измерения состояния проектов и, как следствие, проектного портфеля в целом.
Системность методологии TPRL позволила применить ее практически ко всему спектру научно-технических проектов. Объектом ее приложения могут быть проекты по разработке технологий, материалов, компонентов, элементов и систем, а также инженерных программ. Этот перечень включает основную часть проектов программы «Исследования и разработ-
ки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» (далее Программы). Для проектов по разработке объектов фармакологии и информационных технологий разработаны отдельные специализированные решения.
Проверка применимости методологии осуществлена путем оценки 34 реализуемых и реализованных проектов Программы.
Применение методологии ТР1?1_ обеспечивает, в частности, следующие возможности для субъектов инновационной деятельности:
• для институтов развития:
о отражение наглядной информации об интегральном уровне готовности, сбалансированности и динамике развития проектов по ключевым параметрам; о представление информации для оценки эффективности управления портфелем проектов;
о уменьшение трудозатрат квалифицированных экспертов; о представление в единых терминах уровня готовности проекта из разных отраслей.
• для руководителей проектов:
о осуществление контроля состояния проектов, определения проблемных зон, распределения ресурсов; о обеспечение планирования для сбалансированного развития проекта; о представление проекта инвестору в удобном согласованном формате;
• для инвесторов и технологических брокеров:
о наглядное представление состояния
и динамики развития проекта; о поддержка обоснования размера инвестиций; представление информации для повышения эффективности управления портфелем инновационных проектов. о представление информации для повышения эффективности управления портфелем инновационных проектов; о мониторинг развития проекта, идентификация и снижение рисков.
• для индустриальных партнеров:
о экономия ресурсов при отборе проектов для внедрения;
о представление информации для повышения эффективности управления портфелем инновационных проектов;
о мониторинг развития проекта, идентификация и снижение рисков.
Л. ПРОВЕДЕНИЕ ЭКСПЕРТНЫХ ОЦЕНОК УРОВНЯ ПРОЕКТОВ
На сегодня основным средством определения уровня готовности научно-технических проектов являются экспертные оценки как результат работы соответствующих экспертных систем [7, 8, 9]. Такие системы существуют в различных организациях поддержки инновационного развития, в том числе в РФФИ, РНФ, Дирекции НТП, АО «РОСНАНО», Фонде «Сколково», УК «Тройка Диалог», Фонде содействия инновациям и др.
Для управления проектами применяются подходы, основанные на прохождении определенных этапов и контрольных точек, такие как Stage-Gate Process [3]. Такие подходы характеризуются рекомендациями, основанными на решениях, принимаемых на совещаниях экспертных групп.
Однако применение экспертных оценок сопряжено с рядом особенностей. Так системы экспертной оценки различаются по своей методологии, в них не предусмотрено единство терминологии и единообразный набор параметров, характеризующих проекты и их составные части.
Методологии TPRL предоставляет предварительную оценку проектов по документам, показывая в цифровой и графической форме уровень и индекс готовности проекта по каждому параметру. Применение методологии TPRL обеспечивает экспертам возможность работать с большей эффективностью, используя подобные предварительные оценки.
Экспертная оценка трудозатратна, требует привлечения значительного количества квалифицированных экспертов, что в итоге приводит к определенным сложностям в работе с портфелем проектов.
Использование методологии TPRL при проведении экспертизы позволит унифицировать терминологию и процессы и снизить затраты на проведения экспертизы.
2. мировой опыт применения метода TRL
Метод оценки уровня готовности технологии (метод TRL) [2] представляет собой систематическую метрику оценки готовности технологии и сопоставимого сравнения уровней готовности различных технологий между собой. Уровни определяются по установленным правилам, принимая во внимание, в том числе, концепцию технологии, технологические требования, демонстрацию технологических возможностей продукта. Оценка TRL выражается в натуральных числах от 1 до 9, при этом 9 является наиболее высоким уровнем, соответствующим началу коммерческого производства продукта.
Детальное описание метода TRL и его обсуждение опубликовано Европейской ассоциацией научно-технических организаций [10]. TRL является полезным инструментом для практического применения, устанавливающим согласованную терминологию и прозрачную единообразную методологию оценки текущего уровня зрелости технологий для различных объектов разработки.
Метод широко применяется в промышленности и становится общепризнанной практикой для государственных органов и частных компаний. Такие компании как Объединенная двигателестроительная корпорация, Объединенная авиастроительная корпорация, Siemens, Airbus, Boeing; такие государственные структуры, как Национальное управление по воздухоплаванию и исследованию космического пространства США [2], Министерство энергетики США [11] и Министерство обороны США [12], Горизонт 2020 [13], Департамент малого и среднего бизнеса Канады [14] применяют аналогичные методики оценки.
В литературе представлены десятки различных практических вариантов применения метода TRL для разных организаций, промышленных компаний, государственных ведомств, национальных и международных фондов. Все это говорит о плодотворности данного подхода, его гибкости и возможности адаптации к конкретному продукту.
При разработке методологии TPRL мы исходили из того, что уровень готовности проектов
в целом может быть также описан с использованием системного подхода аналогичного подходу в методе TRL.
3. методология TPRL
Несмотря на достаточно широкую распространенность метода TRL и близкого ему метода MRL [15] для оценки уровня реализуемости технологий, по нашему мнению, существует более широкий круг вопросов, характеризующих ценность проекта для потенциальных потребителей: институтов развития, индустриальных партнеров, инвесторов, технологических брокеров.
Для инновационных проектов характерно наличие рисков, возникающих вследствие несбалансированности развития проекта, например, развитие технологии без соответствующей подготовки производственной или рыночной готовности может привести к появлению невостребованной рынком технологии или продукта, требующего существенного изменения производственного процесса и дополнительных затрат индустриального партнера.
Метод TRL отвечает только на некоторые вопросы, оставляя без внимания другие существенные факторы, влияющие на развитие ценности инновационного проекта. В доступной литературе не найдено описания методологии, позволяющей в едином подходе учитывать влияние таких факторов.
Метод TRL предполагает скачкообразное изменение значения параметра уровня готовности от 1 до 9, что затрудняет детальный мониторинг динамики развития и оценку текущего состояния проекта, которые могут потребоваться на более коротких временных отрезках.
В ряде работ к технологическим требованиям метода TRL добавляются в различных комбинациях требования из 1-2 дополнительных параметров, в том числе готовность производства MRL [5], системная готовность [16] и уровень интеграции, ценность технологии и всевозможные риски. Совокупности этих параметров, однако, недостаточно для оценки инновационных проектов.
Очевидно, что ценность проекта, наряду с перечисленными параметрами, характери-
зуется также такими, как организационная готовность, риски и конкурентные преимущества, рыночная готовность и компетенция команды проекта.
В настоящей работе мы поставили перед собой задачу разработать и апробировать многокритериальную сбалансированную методологию непрерывной оценкой степени готовности проектов по базисным параметрам, работающую, в том числе, на сравнительно коротких временных промежутках.
Учитывая это, нами сформулирован набор из 6-ти обобщенных базовых параметров, которые характеризуют ценность проекта:
• Технологическая готовность (TRL);
• Производственная готовность (MRL);
• Инженерная готовность (ERL);
• Организационная готовность (ORL);
• Преимущества и риски (BRL);
• Рыночная готовность и коммерциализация (CRL).
Результирующий параметр уровня готовности технологии в методе TRL определяется суммарным индексом без оценок по отдельным дополнительным параметрам, что не позволяет диагностировать проблемные зоны проекта. Игнорирование любого из параметров при реализации проекта часто приводит к недостижению планируемых результатов и неудаче в коммерциализации. Поэтому в методологии TPRL оценка проводится путем вычисления индекса готовности проекта как по любому параметру (далее индекс готовности параметра), так и по их совокупности (далее индекс TPRL).
Все 6 параметров адаптированы под 3 типа проектов:
• разработка технологий, материалов, элементов, систем, инженерного программного обеспечения;
• разработка фармпрепаратов;
• разработка программных продуктов.
Для обеспечения возможности численной
оценки динамики развития проекта метод TRL дополнен разделением всех параметров на последовательно выполняемые подуровни и задачи. Поскольку каждая из задач имеет определенные целевые параметры, то их достижение фиксируется наличием конкретных
документов, например, актами, отчетами, заключениями. Так готовность модели к испытаниям подтверждается актом готовности образца, а готовность к проведению самих испытаний - программой и методиками испытаний. Если зафиксировано наличие документа, то задаче присваивается статус 1, в исходном состоянии значение статуса равно 0. Подуровни имеют градацию по готовности от 0 до 1 в зависимости от статуса выполнения входящих в них задач. Уровень считается достигнутым, когда выполнены все задачи последнего подуровня.
Чтобы не нагружать исполнителей проектов дополнительной отчетностью и облегчить процесс дальнейшего внедрения методологии ТР1?1_, была поставлена цель гармонизировать требования по подтверждающим формальным документам, которые требуются для расчета величины уровней готовности проекта, с требованием ГОСТов и существующей отчетностью по проектам в институтах развития, в первую очередь в Программе.
Результат интегральной оценки уровня готовности проекта представляется индексом ТР1?1_. Этот формат удобен для быстрого скрининга состояния проектов и управления портфелем проектов. Алгоритм расчета индекса ТР1?1_ принимает во внимание различного рода неопределенности и риски как технологического, так и иного характера.
Индекс ТР1?1_ проекта рассчитывается на основе значений индексов 6-ти базовых параметров с весовыми коэффициентами. Вид зависимости коэффициентов от значения индексов параметров может быть определен экспертами для решения конкретных задач. Для целей настоящей статьи было принято допущение о том, что вероятность успешного достижения очередного уровня ТР1?1_ растет экспоненциально с продвижением по подуровням, достигая значения 1 при выполнении всех условий, определяющих уровень ТР1?1_. Детальное обоснование этого предположения выходит за рамки настоящей статьи. Однако это обстоятельство не влияет на изложение существа методологии ТР1?1_.
Оценка сбалансированности проекта и ранняя диагностика проблемных зон делаются на основании индексов всех 6-ти пара-
научная экспертиза
метров. Результат такой оценки может быть представлен количественно в виде таблицы или визуальной лепестковой диаграммы (рис 1).
Сбалансированному развитию в методологии TPRL соответствует симметричный шестиугольник. В приведенном примере исполнителям в первую очередь следует обратить
- Начало Сейчас Конец
Готовность
технологии
3,5
Рыночная ч Инженерная
готовность проработка
(4 //
Риски и к \ // Производственная
преимущество готовность
Операционная
готовность
Рис. 1. Пример представления результата оценки сбалансированности и динамики развития проекта по 6-ти ключевым параметрам на лепестковой диаграмме
Рис. 2. Матричная структура комплексной оценки TPRL состояния научно-технических проектов*
*Подуровни и задачи для каждого из параметров определяются отдельно. Типичное количество подуровней 4-6, количество задач в одном подуровне до 10
внимание на проблемные зоны: производственную и рыночную готовность. Инженерная готовность, риски и преимущества также отстают от технологической готовности.
Оценка динамики развития проекта производится условно по площади лепестковой диаграммы. Эта характеристика часто является существенной для потенциального инвестора, оценивающего эффективность команды и принимающего решение о выборе проекта для финансирования.
4. структура метрики
ОЦЕНКИ: ПАРАМЕТРЫ И УРОВНИ, ПОДУРОВНИ,
задачи
Как видно из приведенного выше примера вместо классического ступенчатого алгоритма Т1?1_ мы применили алгоритм непрерывного расчета внутри одного уровня для каждого из параметров. Например, текущий индекс технологической готовности составляет 2,3.
Метрика оценки проектов имеет матричную структуру (рис. 2). Ключевые параметры располагаются в 6-ти колонках.
Ключевой параметр - определяет 6 ключевых параметров развития проекта, например, инженерная готовность (ERL).
Строки имеют 3-х уровневую структуру: каждый уровень для каждого ключевого параметра состоит из последовательно достигаемых подуровней, содержание которых выражается через задачи. Благодаря такой детализации методика TPRL обеспечивает возможность определения дробного значения индекса TPRL, что в свою очередь делает возможным мониторинг динамики развития проектов на малых временных интервалах. Соответственно этому строка имеет следующую структуру.
¡) Уровень готовности параметров -определяет дискретные уровни готовности по каждому ключевому параметру от 1 до 9, например, уровень ERL3 _ выполнена проверка совместимости с системой.
Таблица 1
Карта пересечения элементов структуры методологии TPRL с известными методам определения готовности технологии
Ключевые параметры
Описание уровня, подуровня, задачи ая Ö е ^ .0 X К S ° § £ l 1 i ет вс F 0 3 CQ 0 0 вт 3 в Инженерная готовность § н н о и 3 -0 ö h зс s о s s и а тва ст е 1 1 * § ё з и лиз ь ал * 1 &
s в £ 15 1 1 sB §ö ш 5 в s
TRL,
Определение уровня готовности Stage-Gate MRL TPRL TPRL TPRL TPRL
Определение раздельного значения параметров на каждом уровне TPRL TPRL TPRL TPRL TPRL TPRL
Определение последовательных подуровней внутри уровня для каждого параметра TPRL TPRL TPRL TPRL TPRL TPRL
Фиксация выполнения задач внутри подуровня по документам TPRL TPRL TPRL TPRL TPRL TPRL
В табл. 1 использованы следующие обозначения:
И Традиционный метод, широко применяемый различными организациями. М1?1_ Щ Известный метод, но не получивший широкого распространения. ТР1?1_ Элементы структуры методологии, предложенные в настоящей статье в дополнение к существующим.
и) Подуровень - определяет последовательные этапы критического пути развития проекта в пределах одного уровня готовности параметра, например, готовность модели и стенда к испытаниям. Обычно уровень включает от 4 до 6 подуровней в зависимости от конкретного уровня и параметра.
ш) Задача — определяет элементарные шаги выполнения условий подуровня и служит для численного определения динамики развития проекта, например, оценка воздействия на технологический процесс потенциального заказчика. Обычно подуровень содержит до 10-ти задач.
На практике этот процесс может выглядеть намного сложнее, но мы его сознательно упрощаем для целей мониторинга (табл. 1). Так в один подуровень могут попасть задачи, относящиеся к различным параметрам, но выполняемые параллельно.
Содержание подуровней и задач приведено в максимально общем виде для того, чтобы описывать различные типы объектов разработки. Однако в ряде конкретных случаев, возможно, потребуются уточнения и комментарии. Примеры, иллюстрирующие содержание подуровней и задач, будут приведены в разделе 7.
5. ОПИСАНИЕ
УНИФИЦИРОВАННЫХ
ПАРАМЕТРОВ
В рамках данной стстьи были предложены 6 параметров оценки степени готовности проектов, которые являются минимально необходимым набором для комплексной оценки основных осей развития проекта и готовности проекта в целом (см. раздел 3).
В совокупности по этим параметрам можно судить не только о развитии технологии и производства, но и о других аспектах, важных для успешной коммерциализации проектов.
Параметры являются частично зависимыми. Так рыночная готовность и размер доли рынка зависят, например, от готовности промышленного производства, который в значительной степени влияет на себестоимость продукта, от системы обслуживания (операционная готовность), от ключевых преимуществ
(преимущества и риски). По этой причине предложенные параметры не являются единственными и жестко фиксированными. В случае необходимости применения дополнительных параметров оценки готовности проектов методология TPLR позволяет расширить набор параметров.
Ниже приводятся примеры основных характеристик используемых в методологии TPRL параметров.
Параметр «Технологическая готовность» (классический TRL)
• Определяет подуровни изготовления и проверки объекта разработки от идеи до серийного образца, изготовленного последовательно по лабораторной, опытной, промышленной полномасштабной технологии.
• Отражает статус испытаний объекта последовательно от проверки единичных критических функций, до полной проверки работоспособности с полномасштабной интеграцией во внешнюю систему как в условиях, максимально воспроизводящих окружающую среду в лаборатории, так и в реальных условиях функционирования системы.
• Подтверждается готовностью лабораторного стенда, который может представлять собой на 3-4 уровне единичные приборы, комбинацию из подручных средств и нескольких специализированных компонентов, которые нужно обслуживать в ручном режиме, калибровать и подстраивать для совместной работы. На последующих уровнях 5-6 стенд представляет максимально возможную в лабораторных условиях модель системы и окружающей среды. На уровнях 7-9 экспериментальный образец испытывается в составе системы. Параметр «Инженерная готовность»
• Характеризуется доступным набором научных и инженерных компетенций, необходимых для разработки технологии, наличием/отсутствием конкурентных решений. Включает анализ воздействия технологии на архитектуру и характеристики конечной системы, отражает принятие стратегии разработки технологии.
• Отражает согласование единых средств инженерной разработки (CAD/CAE/ CAM/PLM).
• Фиксирует результат сопоставления индивидуальных функций/модулей продукта с функциональной организацией и финальной инфраструктурой конечной системы.
• Отражает оценку воздействия технологии на технологический процесс изготовления партнеров и их поставщиков.
• Включает план снижения рисков по возможной применимой сертификации, проведение внутренней верификации технологии инженерами партнеров.
• Демонстрирует технологический процесс изготовления модели/макета/образца от раздельных операций до промышленной технологической линии, гармонизацию с существующими технологиями и процессами. Параметр «Производственная готовность»
• Определяет готовность создания производства продукта от уровня макета до промышленного образца.
• Отражает степень интеграции производственного процесса в существующие производственные цепочки (процессы, материалы, оборудование, инфраструктура); демонстрации готовности базовых средств производства партнеров.
• Определяется детальной экономической оценкой стоимости перестройки производства, повышения квалификации рабочих, перестройки системы поставок, сопоставлением с внутренними затратами, решением вопроса: производить или заказывать?
• Демонстрирует создание эффективного производства (экспериментального, опытного, серийного), включая систему контроля качества и поставок материалов и компонентов.
Параметр «Организационная готовность»
• Включает все основные организационные меры поддержки разработки и производства.
• Отражает статус формулировки, обсуждения и согласования концепции применения технологии со всеми вовлеченными лицами, отделами исполнителя, внешними организа-
циями: поставщиками, субподрядчиками, заказчиками.
• Определяет прогресс многоступенчатых согласований технических характеристик объекта потенциальными заказчиками; демонстрацию критических преимуществ макета/модели/образца заказчикам.
• Отражает завершение стадий изменений и корректировок, внесенных в объект по результатам испытаний и переговоров с заказчиками; подписание документов по мягким обязательствам на состав и объем закупок с заказчиками (представители, ответственные за применение, уполномоченный менеджмент).
• Подтверждает принятие базовых решений, разработку операционных планов, демонстрацию системы оказания сервисной поддержки объекта.
• Фиксирует готовность плана по участию разработчика в TPRL7-9, проводимых, в основном, силами и на площадях заказчика.
• Показывает результат обучения персонала партнеров для передачи технологии заказчику.
• Демонстрирует решения по интеллектуальной собственности стратегия защиты бизнеса: что защищать, как защищать, условия защиты.
• Подтверждает выбор модели коммерциализации 1Р, подачу соответствующих патентных заявок.
Параметр «Риски и преимущества»
• Суммирует факты проведения исследования патентного ландшафт и динамики патентования, определения перспективности технологии, наличия конкурентных патентов и базовых (зонтичных) патентов, необходимости и оценки стоимости лицензирования патентов третьих лиц.
• Фиксирует результаты анализа применимых стандартов и технических политик.
• Отражает уточненные на каждом подуровне ключевые преимущества и риски воздействия на окружающую среду по результатам тестирования модели/макета/образца с учетом возможной погрешности тестовых и реальных измерений; риски на основных площадках производства и рынках сбыта.
• Определяет критические факторы успеха, очевидные конкурентные/критические преимущества объекта разработки; факт готовности предложений по поэтапной коррекции технического задания с учетом анализа рисков и формулировки преимуществ.
Параметр «Рыночная готовность и коммерциализация»
• Рыночная готовность и коммерциализация начинают разрабатываться с уровня TPRL2.
• Определяет рыночную готовность технологии; суммирует результат оценки рынка с учетом ценовых и потребительских качеств выводимых на рынок и разрабатываемых продуктов конкурентов.
• Отражает стадию разработки бизнес модели коммерциализации.
• Подтверждает наличие и развитие необходимых компетенций в команде проекта для выполнения последующих последовательных уровней до TPRL9.
• Фиксирует организацию двустороннего обмена информацией с потенциальными клиентами с целью получения обратной связи по заинтересованности и уточнению характеристик объекта разработки.
• Фиксирует последовательные приближения модели ценообразования и соответствующие корректировки производственных технологий с учетом ограничения по цене продукции.
6. ОБОБЩЕННОЕ ОПИСАНИЕ РЕЗУЛЬТАТОВ, ОПРЕДЕЛЯЮЩИХ УРОВЕНЬ TPRL
Для упрощения понимания сути Методологии разработано обобщенное описание основных результатов по всем 6-ти параметрам, которые характеризуют достижение проектом того или иного уровня TPRL.
В табл. 2 приведен пример предварительного заполнения обобщенной таблицы по одному из проектов Программы. Зеленым цветом для наглядности помечены достигнутые уровни параметров, синим - уровни, по достижению которых ведется работа.
В зависимости от степени достижения условий подуровней, индекс готовности пара-
метра может принимать дробное значение в пределах от предыдущего до текущего до уровня готовности параметра. Например, 3 < индекс готовности параметра < 4.
Как описано в разделе 4, каждые элемент этой таблицы в методологии TPRL разбит на подуровни и задачи. Пример, позволяющий более точно понять их содержание, приведен в следующем разделе.
7. ПРИМЕРЫ сОДЕРЖАНИЯ ПОДУРОВНЕЙ И ЗАДАЧ
Как мы уже отмечали в разделе 4, методология TPRL представляет из себя матрицу, в которой строки имеют 3-х уровневую структуру. В Дирекции НТП для оценки уровня готовности проектов применяется методология TPRL со структурой, примеры которой описаны в настоящем разделе.
Подробное описание работы с методологией TPRL, содержащей определение всех подуровней и задач, выходит за рамки настоящей статьи. Поэтому мы приводим лишь выдержку из описания, позволяющую наглядно представить содержание подуровней и задач для одного уровня готовности (уровень L = 3) одного из параметров (Технологическая готовность).
Параметр в этом примере состоит из 4-х подуровней 3.1-3.4 и соответствующих задач, например, 3.4.1-3.4.4 (табл. 3).
В колонке «Фиксация выполнения задачи» наличие подтверждающего документа по итогам выполнения задачи фиксируется значением 1. Исходное значение этой ячейки равно 0.
В колонке «Индекс готовности параметра» показано значение, которым оценивается индекс готовности параметра при условии, что все входящие в него задачи выполнены и подтверждены соответствующими достоверными документами.
В данном подходе все параметры учитываются с равными весовыми коэффициентами и принимаются равнозначными в смысле риска, поскольку отсутствие решения по любому из параметров может привести к неисполнению проекта. Такой подход может быть легко адаптирован для решения специфических задач путем выбора иных весовых коэффициентов.
Таблица 2
Обобщенное описание уровней готовности 6-ти ключевых параметров
Уровень готовности параметра, L Допустимые значения индекса готовности параметра Технологическая готовность, TRL Инженерная готовность, ERL Производственная готовность, MRL Операционная готовность, ORL Преимущества и риски, BRL Рыночная готовность и коммерциализация, CRL
v Основное Поддержка Улучшение n производства, , ■ п 0 mm Рабочая и вспомо- Мониторинг Вывод 9 (8,У| и эволюция сервиса, ^ 1 документация гательное конкурентов на рынок изделия снижение производство издержек
Отработка Оргподготов-Продукт Подписаны Отработка о m Доработка стабильного ка производ- 8 (/,8| в составе „ соглашения замечании 1 моделей пилотного ства системы с партнерами заказчиков производства и сервиса
Продукт Конструктор- Технологиче- Соглашения Подписаны Предва- -, 1/ -л в составе ская подго- ская подго- с заинтересо- рительный 7 (6,7| лицензионные ^ 1 макета товка CAD/ товка произ- ванными орга- вывод договоры системы CAM водства низациями на рынок
6 (5,6] Полнофункциональный образец Изготовление на пилотной линии Состав пилотной производственной линии Обученный персонал Заявки на патенты. Технические риски сняты. Точные спецификации продукта
5 (4,5] Образец в реальном масштабе Режимы пилотного производства отработаны Изготовление в реальных условиях Уточненная бизнес- модель Уточненные преимущества Уточненная модель ценообразования
4 (3,4] Лабораторный образец Интеграционные интерфейсы Базовая технология производства Требования к сервисной поддержке Стратегия защиты ИС Поставщики и партнеры, ценовая политика
3 (2,3] Макетный образец Проверка совместимости Выбор производить\ заказывать Уточненные технические требования к продукту План снижения рисков Конкурентное окружение
2 (1,2] Области применения Анализ влияния на конечную систему Оценка доступности материалов и процессов. Партнерское окружение Патентный анализ Ценностное предложение
1 (0,1] Фундаментальная концепция Требования к инженерным ресурсам Базовые требования к производству Схема базовых бизнес-процессов Первоначальная оценка преимуществ и рисков Оценка полезности
В табл. 2 использованы следующие обозначения: | Уровень по параметру достигнут.
Подуровни частично достигнуты, но соответствующий уровень еще не достигнут.
Таблица 3
Структура уровня, подуровней и задач на примере 3-го уровня готовности параметра «Технологическая готовность»
№ Подуровень/задача Подтверждающий документ Фиксация выполнения задачи Индекс готовности параметра
Уровень 3. Уровень готовности параметра «Технологическая готовность»
Подуровень 3.1. Подготовлена программа и методики испытаний Достигнутый уровень + 0,25 = 2,25
Задача 3.1.1 Разработана программа испытаний с учетом всех характеристик модели и базового интерфейса с системой Акт приемки 1
Задача 3.1.2. Подготовлено техническое задание на модель Техническое задание 1
Подуровень 3.2. Модель и стенд готовы к испытаниям Достигнутый уровень + 0,5 = 2,5
Задача 3.2.1. Изготовлена модель Акт приемки 1
Задача 3.2.2. Подготовлено оборудование для проведения лабораторных испытаний Акт приемки 1
Задача 3.2.3. Персонал готов к измерениям Протокол проверки 1
Подуровень 3.3. Модель продемонстрировала выполнимость базовых функций связи с другими элементами полной системы. Достигнутый уровень + 0,75 = 2,75
Задача 3.3.1. Экспериментально подтверждена концепция: основные характеристики подтверждены Акт испытаний 1
Задача 3.3.2. Подтверждена работоспособность в составе внешней системы, имитируемой суррогатными элементами/ отдельными приборами. Акт испытаний 0
Подуровень 3.4. Определены применения продукта и его конфигурация Достигнутый уровень + 1,0 =
Задача 3.4.1. Выбраны опции реализации объекта разработки, областей применения, уточнены критерии выбора оптимального применения Отчет 0
Задача 3.4.2. Зафиксированы общие требования/применения Акт 0
Задача 3.4.3. Определены ограничения оптимального применения относительно базовых элементов Отчет 0
Задача 3.4.4. На уровне организации подтверждена целесообразность разработки технологии Протокол НТС 0
8. мониторинг портфеля проектов
Задача повышения эффективности инвестиций в научно-технические проекты приводит к необходимости перехода от точечного управления проектами к сбалансированному управлению всем портфелем проектов с учетом рисков и ограниченности ресурсов. Это позволяет приоритетно поддерживать те проекты, которые отвечают стратегическим целям инвестора.
Базовый метод TRL уже нашел применение при оценке портфеля проектов. Например, в докладе Министерства энергетики США [17] с помощью методики TRL анализируется распределение по уровню готовности технологий в портфеле из 349 активных проектов. Анализ проведен с целью поддержать усилия по предоставлению наиболее оперативной и емкой информации, позволяющей оценить зрелость технологий, разрабатываемых Департаментом в течение финансового года. Каждый проект оценивался группой экспертов с присвоением конкретного значения уровня, например, TRL4.
Предлагаемая методология TPRL позволяет оценить индекс готовности проекта по всем 6-ти параметрам, а также определить интегральный индекс готовности проекта TPRL. При этом оценка ведется по наличию формализованных документов. Так как при этом используются документы, которые возникают как результат реализации проекта, то оценка становится оперативной и менее ресурсозатрат-ной. Оценка проектов может быть применена на следующих этапах жизненного цикла управления портфелем проектов: отбор проектов, планирование, управление реализацией.
9. алгоритм численной оценки индекса TPRL
Расчет индекса готовности параметра проиллюстрируем на примере, приведенном в табл. 3. Как отмечалось, основой для расчета являются значения колонки «Фиксация выполнения задачи». Подуровень считается завершенным, если все составляющие его задачи выполнены. Подуровни составляются так, чтобы линейно отражать прогресс в выполнении требований соответствующего параметра.
В приведенном в табл. 3 примере, параметр «Технологическая готовность» разбит на 4 подуровня, вес которых одинаков и составляет 0,25. Дробное значение индекса готовности параметра определяется по последнему полностью завершенному подуровню в данном параметре. В приведенном примере индекс готовности параметра составляет 2,5 в предположении, что уровень готовности параметра 2 уже достигнут. Подчеркнем, что уровень готовности параметра равен 2, в то время как индекс готовности параметра равен 2,5.
Аналогично определяются индексы всех остальных параметров. Легко увидеть, что уровень готовности параметра «Технологическая готовность» соответствует классическому значению TRL.
Вторым шагом является определение индекса готовности всего проекта по индексам готовности параметров. Методология TPRL дает возможность применять различные варианты алгоритма численного расчета индекса TPRL, в том числе настроенные экспертами для решения узкоспециализированных задач.
Выбор конкретного алгоритма не затрагивает общности методологии. Для целей иллюстрации численной оценки индекса готовности проекта мы использовали следующий алгоритм.
Целочисленная часть индекса готовности проекта E равна уровню готовности проекта и определяется как максимальное значение уровня готовности, которого достигли все параметры. Иными словами, Е соответствует наименьшему уровню готовности из всех 6-ти параметров. В примере, приведенном в табл. 2, минимальный уровень L = 2 имеют ERL, MRL и ORL. Следовательно, E = 2.
Третьим шагом вычисляется дробная часть индекса готовности проекта. Для этого вычисляется среднее значение 6-ти дробных частей индексов параметров Кср по подуровням уровня E + 1 (в данном примере уровня L = 3).
При расчете дробной части мы учли тот факт, что низкие значения индексов по любому из ключевых параметров могут привести к увеличению риска успешной коммерциализации проекта в целом. При этом темп роста вероятности успешного достижения очеред-
ного уровня р^ возрастает к моменту решения задач уровня.
Математическим выражением этого факта является экспоненциальный рост вероятности успешного достижения параметром очередного уровня Е + 1 (р^т, т-номер параметра) до значения «1» при приближении к нему. В силу допущения о независимости параметров, вероятность достижения уровня L про-
екта в целом (р^) равна произведению вероятностей р^т при изменении т от 1 до 6-ти.
Форма зависимости р^т и условия ее нормировки являются предметом детального обсуждения, но не влияют на существо предлагаемой методологии TPRL. По этой причине, а также для сохранения логики повествования, решено вынести обоснование алгоритма расчета весовых коэффициентов в отдельную работу.
а) Проект по разработке технологии получения и обработки конструкционных наноматериалов
б) Проект по разработке энергоэффективных систем вентиляции и кондиционирования воздуха
в) Проект по разработке и внедрению электросберегающих технологий
г) Проект по разработке высокоэффективных технологий высокопрочных трубных сталей
Рис. 3. Применение индекса TPRL для анализа уровня и сбалансированности проектов в разных областях на примере проектов Программы, сравнение значений TRL и индекса TPRL: а) умеренно гармоничное развитие проекта; б), в) и г) -несбалансированное развитие проектов, приводящее к повышенным рискам; в) и г) - существенные отличия в значениях TRL и индекса TPRL
В итоге предлагаемый в статье алгоритм дает следующее выражение для индекса TPRL: Индекс TPRL = E + Kcp*pL;
PL = PL1*PL2*PL3*PL4*PL5*PL6, где:
E -минимальное значение достигнутых уровней готовности по 6-ти параметрам.
Кср — среднее значение дробных частей параметров;
Pl — вероятность достижения всех требований уровня L к проекту;
PLm — вероятность достижения всех требований уровня L к параметру m.
ТО. ПРАКТИЧЕСКОЕ ИСПОЛЬЗОВАНИЕ
Для проверки эффективности методология TPRL была проверена путем оценки уровней 34 проектов Программы на различных стадиях реализации: начальной, текущей и финальной (рис. 2).
Оценка проводилась с использованием матрицы (см. раздел 4), в которой были заполнены все уровни, подуровни и задачи для всех 6-ти параметров (в статье не приводится ввиду ее ограниченности).
Оценивался индекс TPRL и сбалансированность развития проектов из разных областей (рис. 2, а и б). Были также проведены сравнения оценок уровня проектов по классической методике TRL и по методологии TPRL (рис. 2, в и г). Динамика развития проектов определялась по изменению индексов готовности параметров от начала проекта до текущего состояния и сопоставлялась с заявленный уровнем готовности на момент завершения проекта.
Результаты проверки показали следующее.
1. Определены проекты, развитие которых сбалансировано, и проекты, в которых присутствует несбалансированность.
2. В ряде проектов наблюдется хорошая динамика, в то время как некоторые проекты развиваются медленнее, чем планировалось.
3. Уровни готовности проектов из разных дисциплин могут быть оценены по единой шкале.
4. Индекс готовности параметра «Технологическая готовность» соответствует оценке, проведенной по классическому методу TRL.
5. Показано, что методология TPRL позволяет в единых терминах просто и объективно представить уровень проекта для следующего раунда инвестирования.
заключение
Предложена методология TPRL оценки уровня готовности научно-технических инновационных проектов, позволяющая определить динамику и сбалансированность их развития, использующая унифицированные подходы для сравнения технологий и проектов из разных предметных областей.
Методология TPRL позволяет сократить ресурсы и время при проведении экспертной оценки проектов и управлении портфелем проектов.
Проверка методологии на проектах Программы показала ее работоспособность, сбалансированный характер оценки, достаточную чувствительность для оперативного мониторинга и универсальность по отношению к различным дисциплинам.
Методология TPRL может быть использована исполнителями проектов, промышленными партнерами, инвесторами и инновационными промышленными компаниями для мониторинга проектов и повышения эффективности деятельности.
литература
1. Распоряжение Правительства РФ от 8 декабря 2011 г. № 2227-р. (2011) Стратегия инновационного развития Российской Федерации на период до 2020 года. http://www.consultant.ru/document/ cons_doc_LAW_123444.
2. Mankins J. C. (1995) Technology readiness levels / Advanced Concepts Office of Space Access and Technology NASA. http://www.hq.nasa.gov/office/ codeq/trl/trl.pdf.
научная экспертиза
3. Robert G. С., Scott J.E. (2006) Stage-Gate® and the Critical Success Factors for New Product Development // BPTrends. http://www.bptrends.com/ publicationfiles/07-06-ART-Stage-GateForProduct-Dev-Cooper-Edgett.pdf.
4. Открытые инновации. Ноучно-техническая кооперация (2011) / Открытое Акционерное Общество «Вертолёты России». http://www.skolkovo.ru/ public/media/documents/rd/helicopters.pdf.
5. Automotive Technology and Manufacturing Readiness Levels (2011) A guide to recognised stages of development. http://www.automotivecouncil.co.uk/ wp-content/uploads/2011 /02/Automotive-Technol-ogy-and-Manufacturing-Readiness-Levels.pdf.
6. Bockenheimer C (2010) The Airbus SHM Development Process // 2nd International Symposium on NDT in Aerospace. З. We.4. A.2.
7. Стукало Ю. Е, Артёменко В. Б., Нестеров Д. В. (2012) Подход к оценке уровня готовности результатов интеллектуальной деятельности для их практического внедрения в образцы техники военного и гражданского назначения" // Межотраслевая информационная служба. № 3/2012 С. 21-29.
8. Бухарин С. Н., Гукасов В. М, Лазаренко Н. Е. (2011) Теоретические и методические основы экспертизы фундаментальных и прикладных научно-технических проектов // Инноватика и экспертиза. № 2 (7). С. 58-66.
9. Плетнев К. И., Лазаренко Н. Е. (2003) Экспертиза в научно-технической сфере: методология и организация. М.: Изд-во РАГС.
10. The TRL Scale as a Research & Innovation Policy Tool (2014) / EARTO Recommendations. http://www.earto.eu/fileadmin/content/03_Publi-
cations/The_TRL_Scale_as_a_R_I_Policy_Tool_-_ EARTO_Recommendations_-_Final.pdf.
11. Graettinger C. P., Caroline P. et al. (2002) Using the Technology Readiness Levels Scale to Support Technology Management in the DOD's ATD/STO Environments (A Findings and Recommendations Report Conducted for Army CECOM). http://resources.sei. cmu.edu/library/asset-view.cfm?assetID=5835.
12. Technology Readiness Assessment (TRA) Guidance (2011) United States Department of Defense. http://www.acq.osd.mil/chieftechnologist/publica-tions/docs/TRA2011.pdf.
13. Technology readiness levels (TRL) (2014) Horizon 2020 - work programme 2014-2015 General Annexes / European Commission. http://ec.europa. eu/research/participants/data/ref/h2020/ wp/2014_2015/annexes/h2020-wp1415-annex-g-
trl_en.pdf.
14. Technology Readiness Levels (2015) / Public Works and Government Services Canada. https://buyand-sell.gc.ca/initiatives-and-programs/canadian-inno-vation-commercialization-program-cicp/program-specifics/technology-readiness-level.
15. Manufacturing Readiness Level (MRL) Deskbook. Version 2.0 (2011) / OSD Manufacturing Technology Program. May, 2011.
16. Sauser B, Sauser B, Verma D, Ramirez-Marquez H, Gove R. (2006) From TRL to SRL: The Concept of System Readiness Levels / Proceedings of the Conference on Systems Engineering Research (CSER). Los Angeles, CA, USA. April 7-8, 2006.
17. 2014 Technology Readiness Assessment. Clean coal research program (2015) / National Energy Technology Laboratory - US Department of Energy. 144 p.
REFERENCES
1. The decree of the RF Government of December 8, 2011 № 2227-R (2011) Strategy of innovative development of the Russian Federation for the period till 2020 / http://www.consultant.ru/document/ cons_doc_LAW_123444.
2. Mankins J. C. (1995) Technology readiness levels / Advanced Concepts Office of Space Access and Technology NASA. http://www.hq.nasa.gov/office/ codeq/trl/trl.pdf.
3. Robert G. C, Scoff J. E. (2006) Stage-Gate® and the Critical Success Factors for New Product Development // BPTrends. http://www.bptrends.com/ publicationfiles/07-06-ART-Stage-GateForProduct-Dev-Cooper-Edgett.pdf.
4. Open innovations. Nauchno-technical co-operation (2011) / «Helicopters of Russia».http://www. skolkovo.ru/ public/media/documents/rd/helicop-ters.pdf.
5. Automotive Technology and Manufacturing Readiness Levels (2011) A guide to recognised stages of development. http://www.automotivecouncil.co.uk/ wp-content/uploads/2011 /02/Automotive-Technol-ogy-and-Manufacturing-Readiness-Levels.pdf.
6. Bockenheimer C (2010) The Airbus SHM Development Process // 2nd International Symposium on NDT in Aerospace. 3. We.4. A.2.
7. Sfucalo Y. E, Arfemenko V B, Nesterov D. V (2012) Approach to the assessment of the level of readiness of results of intellectual activity for their practical implementation in the models of equipment for military and civil purposes" //Transindustry information service. № 3, P. 21-29.
8. Bukharin S. N, Gukasov V. M, Lazarenko N. E. (2011) Theoretical and methodological foundations examination of fundamental and applied scientific-technical projects // Innovation and expertise. № 2 (7). P. 58-66.
9. Pletnev K. I, Lazarenko N. E. (2003) Expertise in scientific and technical sphere: methodology and organization. M.: Publishing house RAGS., 198 pp.
10. The TRL Scale as a Research & Innovation Policy Tool (2014) / EARTO Recommendations. http://www. earto.eu/fileadmin/content/03_Publications/The_ TRL_Scale_as_a_RJ_Policy_Tool_-_EARTO_Recom-mendations_-_Final.pdf.
11. Graettinger C. P., Caroline P. et al. (2002) Using the Technology Readiness Levels Scale to Support Technology Management in the DOD's ATD/STO Environments (A Findings and Recommendations Report Conducted for Army CECOM). http://resources.sei. cmu.edu/library/asset-view.cfm?assetID=5835.
12. Technology Readiness Assessment (TRA) Guidance (2011) United States Department of Defense. http://www.acq.osd.mil/chieftechnologist/publica-tions/docs/TRA2011.pdf.
13. Technology readiness levels (TRL) (2014) Horizon 2020 - work programme 2014-2015 General An-
nexes / European Commission. http://ec.europa. eu/research/participants/data/ref/h2020/ wp/2014_2015/annexes/h2020-wp1415-annex-g-trl_en.pdf.
14. Technology Readiness Levels (2015) / Public Works and Government Services Canada. https://buyand-sell.gc.ca/initiatives-and-programs/canadian-inno-vation-commercialization-program-cicp/program-specifics/technology-readiness-level.
15. Manufacturing Readiness Level (MRL) Deskbook. Version 2.0 (2011) / OSD Manufacturing Technology Program. May, 2011.
16. Sauser B, Sauser B, Verma D, Ramirez-Marquez H, Gove R. (2006) From TRL to SRL: The Concept of System Readiness Levels / Proceedings of the Conference on Systems Engineering Research (CSER). Los Angeles, CA, USA. April 7-8, 2006.
17. 2014 Technology Readiness Assessment. Clean coal research program (2015) / National Energy Technology Laboratory - US Department of Energy. 144 p.
UDC 338.28, 378.4
Petrov A. N, Sartory A. V, Filimonov A. V. Comprehensive assessment of the status scientific and technical projects using Technology Project Readiness Level (Directorate of State Scientific and Technical Programmes, Moscow, Russia)
Abstract. The balanced methodology for assessing the Technology Project Readiness Level for commercialization (TPRL) is proposed. TPRL allows to determine the dynamics and balance of development projects that use the standardized approaches used in assessing the readiness of the technology. Validation of the methodology undertaken for the projects of Federal target programs "Research and development on priority directions of development of scientific-technological complex of Russia for 2007-2013" and "Research and development on priority directions of development of scientific-technological complex of Russia for 2014-2020". The obtained results showed the possibility of application of the methodology for the evaluation of projects, improving efficiency of expert activity in the evaluation of projects, monitoring the status of individual project and group of projects (portfolio). The application of the methodology allowed us to improve the management of individual project and portfolio of projects.
Methodology TPRL will allow the implementers, industry partners, investors, and innovative industrial companies to improve the efficiency of its activities.
Keywords: level of readiness of technologies, TPRL, project evaluation, due diligence, project portfolio methodology.
DOI 10.22394/2410-132X-2016-2-4-244-260
