CC BY
25экспертиза А.В. КОМАРОВ,
(Москва, Российская Федерация; e-mail: abkom@mail.ru) Е.И. ФЕЛЛЬ,
Фонд развития интернет-инициатив (Москва, Российская Федерация; e-mail: evgeny.fell@gmail.com) Д.А. МАТВЕЕВ,
Фонд развития интернет-инициатив (Москва, Российская Федерация; e-mail: gnosys-project@yandex.ru)
ФРЕЙМВОРК TPRA
ДЛЯ КОМПЛЕКСНОЙ ОЦЕНКИ СОСТОЯНИЯ НАУЧНО-ТЕХНОЛОГИЧЕСКИХ ПРОЕКТОВ
УДК: 338.28
https://doi.org/10.22394/2410-132X-2022-8-3-4-255-267
Аннотация: В статье описан фреймворк TPRA для комплексной оценки научно-технологических проектов, приведено его сравнение с другими методами оценки. Получаемые с помощью фреймворка TPRA оценки технологической готовности проектов, их потенциала и рисков неудачного завершения могут быть использованы для повышения эффективности планирования и осуществления R&D-деятельности в институтах инновационного развития, в корпорациях и организациях, инвестирующих в R&D процессы, а также проектными командами для самооценки. Применение фреймворка продемонстрировано на примере практической деятельности Фонда развития интернет-инициатив по созданию крупного технологического предприятия цифровой экономики в Ханты-Мансийском автономном округе-Югре.
Ключевые слова: научно-технологический проект, НИОКР, уровень готовности технологии, УГТ, TPRA, риск Для цитирования: Комаров А.В., Фелль Е.И., Матвеев Д.А. Фреймворк TPRA для комплексной оценки состояния научно-технологических проектов. Экономика науки. 2022; 8(3-4):255-267. https://doi.org/10.22394/2410-132X-2022-8-3-4-255-267
© А.В. Комаров, Е.И. Фелль, Д.А. Матвеев, 2022 г.
ВВЕДЕНИЕ
В настоящее время для оценки зрелости технологий наибольшее распространение получили практические методы, основанные на использовании шкалы TRL (Technology Readiness Level), а для комплексной оценки технологической готовности проектов - методы TPRL (Technology Project Readiness Level), расширяющие возможности методов TRL за счет учёта дополнительных характеристик проектов.
Впервые шкала TRL была представлена в конце прошлого столетия национальным аэрокосмическим агентством США NASA [1, 2]. Следует отметить, что использование данной шкалы в различных государствах или крупных компаниях в настоящее время регулируется различными национальными или отраслевыми (корпоративными) стандартами [3], в России это такие стандарты, как ГОСТ Р 568612016 [4], ГОСТ Р 57194.1-2016 [5] и ГОСТ Р 58048-2017 [6].
Методология TPRL [7-9] за счёт учёта дополнительных характеристик научно-технологических проектов позволила перейти от оценки отдельных технологий в методах на основе TRL/TRA (Technology Readiness Assessment) к комплексной оценке проектов, что дало возможность успешно решить практические задачи в различных отраслях, такие, например, как сопровождение проектов,
выполненных в ходе реализации ФЦП «Исследования и разработки» в 2007-2020 гг. [10, 11] актуализация дорожных карт развития региональной авиации [12], разработка Методики оценки зрелости инновационного продукта/технологии к внедрению в ОАО «РЖД» [13] и др.
Анализ практики использования методологии TPRL [10, 12-15] показывает, что при её применении приходится использовать различные допущения, которые могут привести к ошибочным результатам. Одним из таких допущений является обязательность перехода на следующий уровень технологической готовности проекта только после выполнения всех задач на предыдущем. Кроме того, во всех методах, основанных на методологии TPRL отсутствует взаимное отображение шкал готовности различных параметров проекта друг на друга, а также нет возможности оценивать в органах управления институтов развития риски неудачного завершения проектов.
В связи с этим задача разработки методов комплексной оценки научно-технологических проектов не теряет актуальности и в настоящее время. Важным аспектом реализации процесса исследований и разработок является способность объективно оценивать различные индикаторы и показатели научно-технологических проектов в разнообразных сферах профессиональной деятельности компаний, выполняющих такие проекты. Поэтому для такой оценки необходим инструмент, который представлял бы менеджерам компаний и сотрудникам органов управления институтов инновационного развития единые подходы и правила для комплексного оценивания научно-технологических проектов.
В статье описан фреймворк TPRA (Technology Project Readiness Assessment), показаны его отличия от существующих инструментов оценки научно-технологических проектов, таких как методы TRL/TRA и TPRL, а также приведен пример практического применения разработанного фреймворка. Фреймворк TPRA позволяет создать единый механизм для оценки показателей научно-технологических проектов, а также обеспечить дополнительной объективной информацией менеджмент компаний или
сотрудников органов управления институтов инновационного развития о возможных рисках, которые могут возникнуть при переходе создаваемых технологий на следующие этапы их жизненного цикла, при принятии управленческих решений по корректировке процессов и выполняемых компаниями задач по созданию новых, коммерчески успешных технологий.
ФРЕЙМВОРК TPRA
Методология TPRA расширяет стандартные возможности методов, основанных на шкале TRL, за счёт использования обоснованного набора параметров и показателей проекта, а также специальных алгоритмов их обработки, что позволяет судить не только о развитии технологии и производства, но и о других аспектах, важных для успешной коммерциализации результатов, получаемых в проектах.
Созданный фреймворк в полной мере учитывает такие ценности проекта, как:
• Технологическая готовность (TRL - Technology Readiness Level);
• Производственная готовность (MRL-Manufacturing readiness level);
• Инженерная готовность (ERL - Engineering Readiness Level);
• Организационная готовность (ORL -Organization Readiness Level);
• Рыночная готовность и коммерциализация (CRL-Commercial Readiness Level).
Оценка каждого из этих параметров проекта производится с использованием унифицированных взаимно согласованных шкал уровней готовности различных параметров проекта, часть из которых приведена в таблице 7.
Фреймворк опирается на концептуальную модель [16], в которой R&D проект рассматривается как комплекс мероприятий, направленных на создание востребованного продукта, его производство, включение в технологический процесс или более крупный продукт, вывод его на рынок и так далее, с учётом того, что технология должна развиваться параллельно с пониманием, как будет производиться продукт, созданный на ее базе, как и кому он будет поставляться или продаваться, а также какие требования к продукту есть у конечного потребителя.
Поэтому модель выполнения R&D проекта, используемая в фреймворке, разработана с учётом максимально полного и точного следования современным технологиям и стандартам разработки, учитывающим все стадии жизненного цикла инновационного проекта (ГОСТ Р серии 1, ГОСТ серии 2, ГОСТ серии 3, ГОСТ 4, ГОСТ 14, ГОСТ 15, ГОСТ 17, ГОСТ 19, ГОСТ 20, ГОСТ 24, ГОСТ 27, ГОСТ 28, ГОСТ 29, ГОСТ 40, ГОСТ 50, [17, 18] и т.п.).
Фреймворк TPRA изначально разрабатывался таким образом, чтобы устранить выявленные ограничения методов TRL/TPRL и расширить их функциональность за счёт использования преимуществ, некоторые из которых представлены в таблице 2. В таблице 2 фон ячеек изменяется от насыщенного зелёного, если метод обладает характеристикой в полной мере, до насыщенного оранжевого в том случае, если характеристика не реализована в сравниваемом методе в настоящее время.
Таблица 1
Шкалы готовности параметров проекта в фреймворке TPRA (уровни 4-6)
Технологическая готовность (TRL)
Производственная готовность (MRL)
4 Проведены лабора- Подтверждена
торные испытания технологии, продукта, процесса или решения
По полупромышленной технологии изготовлен и испытан экспериментальный образец в реальном масштабе с эмуляцией основных внешних условий
6 При испытаниях полнофункционального образца подтверждены рабочие функциональные и технические характеристики технологии, продукта, процесса или решения в условиях, максимально приближенных к реальности
возможность изготовления образца в лабораторных условиях. Решен вопрос по недостающим мощностям, условиям поставок
Прототипы материалов, оборудования, контрольных приборов и квалификация персонала продемонстрированы в реальных условиях. Предварительно определены характеристики производства Определен окончательный состав производственной линии. Обеспечены надежные поставки . Отработан предварительно эффект масштаба производства
Инженерная
Организационная
готовность (ERL) готовность (ORL)
Свойства и интерфейс технологии, продукта, процесса или решения определены и согласованы для анализа интеграции в систему. Отдельные модули протестированы, чтобы убедиться, что компоненты (функции) модуля работают вместе Внешние интерфейсы четко определены. Основные технологические компоненты интегрированы
Зафиксированы контент и структура передаваемых данных через внутренние и внешние интерфейсы
Реализованы меры по снижению рисков
Подтверждено, что технология, продукт, процесс или решение отвечает запросам Заказчика и других потребителей
Приняты решения по поддержке технологии, продукта, процесса или решения, а также по обучению персонала
Разработан базовый финансовый план, включая первоначальные прогнозы краткосрочных и долгосрочных продаж, затрат, прибылей. Сделан прогноз о каналах продаж и приоритетных поставщиках
Разработана
базовая
бизнес-модель
Разработан план вывода продукта на рынок
(продажи, маркетинг)
с учетом CRM
(Customer
Relationship
Management)
и корпоративной
структуры
5
И) (J1
00
Таблица 2
(i) □
х
0 £
S >
1
>
< *
S
т
0
ГО [U
н
00
Z
10
и
Сравнение фреймворка TPRA с другими методами
ш
I
Характеристика Фреймворк TPRA Методы на основе TRL Методология TPRL[8, 14]
Шкала параметров Для каждого параметра существует 9-ти уровневая шкала. Шкалы унифицированы и могут использоваться для измерения в различных организациях Классическая 9-ти уровневая шкала. В различных отраслях и организациях используются различные шкалы 9-ти уровневая шкала для определения уровня технологической готовности. Шкалы для отдельных параметров отсутствуют
Взаимное отображение шкал друг на друга Информационная модель и алгоритмы разработаны с учетом требований ГОСТ и лучших практик выполнения R&D проектов и по умолчанию включают поуровневое взаимное отображение шкал друг на друга Известно только взаимное отображение шкалы в шкалу Отсутствует
Комплексная оценка проекта Опция по умолчанию Требуется привлечение оценок других параметров проекта, для которых имеются только базовые определения шкал уровней готовности, при этом взаимное отображение шкал друг на друга отсутствует Опция по умолчанию, но не допускает измерения отдельных параметров на разных уровнях их готовности
Оценка потенциала проекта, коммерческого потенциал, потенциала трансфера и потенциала научно-технического задела Опция по умолчанию Отсутствует Отсутствует
Оценка рисков невыполнения проекта Опция по умолчанию Известны теоретические подходы [19], при этом риски связаны только с параметром Т1?1_. Для отдельных отраслей известна методология ИЗ [20] Определяется готовность проекта по шкале BRL (Benefits Readiness Level - шкала «преимущества и риски»). Непосредственно риски не определяются
Простота использования Оценка проводится на основе ответов на вопросы сравнительно простых анкет. Базовая анкета для оценки параметров проекта включает 85 вопросов, базовая анкета для оценки рисков невыполнения R&D проекта включает 101 вопрос Оценка проводится на основе ответов на вопросы анкет, каждая из которых существенным образом зависит от отраслевой специфики или специфики организации Информационная модель и анкета довольно сложна и включает значительное количество вопросов
Предварительное позиционирование Не требуется. Каждый параметр проекта может быть оценен на разных уровнях готовности Не требуется. Каждый параметр проекта может быть оценен на разных уровнях готовности по индивидуальной шкале без взаимосвязи с оценкой готовности других параметров. Оценка проводится последовательно для всех уровней за счёт накопления ответов во время предыдущих оценок. Требуется предварительное позиционирование проекта по шкале уровней технологической готовности. Определение параметров проекта проводится только в отношении выбранного уровня
Учёт специфики организаций Алгоритмы обработки ответов разработаны с учетом возможной адаптации модели под специфику организации. Объем работ по адаптации незначителен Существует значительное количество отраслевых методов, разработанных на основе адаптированных шкал, однако гарантировать «совместимость» между разными методами невозможно Декларируется, но на практике объем работ может оказаться значительным в силу специфики и сложности алгоритмов обработки ответов на вопросы анкет
со л
о □
CD "О ч
со ш
В оценке уровня технологической готовности проекта фреймворк опирается на информацию о проекте, которая может быть получена и подтверждена в любых документах, в т.ч. презентационных, т.е. ТРРА является метрикой, позволяющей осуществлять переход от собранной о проекте информации к оценке состояния проектов и их ранжированию. Для комплексной оценки научно-технологических проектов используются следующие основные индикаторы:
• уровень готовности параметров проекта (TRL, MRL, ERL, ORL, CRL) - количественное значение, соответствующее определенному интервалу шкалы готовности параметра [таблица 1);
• потенциал проекта в целом - х арактери-стика возможности получения результатов, которые обеспечат достижение ожидаемых максимальных эффектов от их практического использования при оптимальном расходовании ресурсов на выполнение проекта без необходимости их наращивания и минимальных рисках выполнения проекта;
• потенциал коммерциализации результатов проекта - характеризует возможность получения максимальных доходов от практического использования результатов при оптимальном расходовании ресурсов на выполнение проекта без необходимости их
наращивания и минимальных рисках выполнения проекта;
потенциал использования результатов проекта в трансфере технологий - характеризует возможность использования результатов проекта другими корпорациями и организациями или в иных сферах деятельности при оптимальном расходовании ресурсов на выполнение проекта без необходимости их наращивания и минимальных рисках выполнения проекта; потенциал использования результатов проекта в качестве научно-технического задела - характеризует возможность использования результатов проекта в других проектах или для оптимизации существующих в организации промышленно-технологических процессов при оптимальном расходовании ресурсов на выполнение проекта без необходимости их наращивания и минимальных рисках выполнения проекта; риски невыполнения проекта - характеризуют риски, которые могут возникнуть при переходе проекта от одного состояния в пространстве координат параметров проекта к другому, т.е. риски, с которыми могут столкнуться институты развития и поддержки научно-технологической деятельности при выполнении проекта.
ESTD - Early Stages of Technology Development
Рисунок 1. Визуализация индикаторов R&D проекта
Рисунок 2. Визуализация диаграммы рисков выполнения проекта
Значения приведённых выше показателей (рисунки J, 2) определяются с помощью специального калькулятора, разработанного в форме приложения для компьютера, функционирующего в среде Windows, а также в форме электронных таблиц Excel. Оба варианта калькулятора используют одни и те же алгоритмы обработки ответов на вопросы специальных анкет.
Калькулятор может использоваться как командой проекта для проведения самооценки, так и сотрудниками органа управления института инновационного развития в заранее определённые моменты времени рабочего плана выполнения проекта (начиная с отбора проекта) для мониторинга хода его выполнения и своевременного реагирования в случае его нарушения. Для проведения необходимой оценки могут быть привлечены отраслевые эксперты. Анализ полученных значений показателей и индикаторов проекта позволяет определить рекомендации команде проекта по возможной модификации последовательности и сроков выполнения работ, а также определить возможные необходимые изменения в составе выполняемых работ, или, говоря другими словами, с помощью фреймворка TPRA для выполнения конкретного проекта может быть сформирован шаблон WBS (Work Breakdown Structure), выполнение которого
будет контролироваться и при необходимости корректироваться. Информационная модель, лежащая в основе фреймворка TPRA, позволяет также сформировать требования к компетенциям участников проектной команды, учёт которых повышает эффективность процесса разработки технологии в научно-технологическом проекте.
ПРАКТИЧЕСКОЕ ИСПОЛЬЗОВАНИЕ ФРЕЙМВОРКА TPRA
Фреймворк TPRA прошёл апробацию при выполнении совместного проекта Фонда развития интернет-инициатив (ФРИИ) и органов исполнительной власти Ханты-Мансийского автономного Округа - Югры (ХМАО-Югра или Округ) по созданию крупного технологического предприятия цифровой экономики ХМАО-Югры.
В ходе проводимых работ были отобраны несколько проектов, на базе которых могут быть созданы крупные технологические предприятия цифровой экономики ХМАО-Югры, два из которых представляли наибольший интерес: • Проект «Инфраструктура беспилотников» по созданию системы на базе беспилотных авиационных средств (БАС), организуемых и управляемых в рамках развернутой в Округе единой инфраструктурой управления;
• Проект «Технологии геологоразведки» по повышению эффективности геологоразведки для поиска и извлечения полезных ископаемых.
Проведённый аналитической группой ФРИИ анализ показал, что наиболее перспективным является проект «Инфраструктура беспилотников», что позволяет сделать вывод о том, что крупное технологическое предприятие цифровой экономики ХМАО-Югры следует создавать на базе предприятия, предложившего этот проект к реализации.
Для получения независимой оценки эти проекты были оценены с помощью калькулятора, входящего в состав фреймворка TPRA, представляющего из себя программное средство, функционирующее как настольное приложение в среде Microsoft Windows. Алгоритм оценки проектов показан на рисунке 3. В качестве исходных данных для работы калькулятора использовались собранные ранее данные о проектах - представленные информационные материалы и документы о проектах, такие как тизеры проектов, бизнес-планы, описания технологий, финансовые модели и др.
В силу того, что объем информационных материалов не всегда позволял получить полную информацию о проекте, а также в связи с тем, что перечень информационных
материалов и их содержание не в полной мере позволяли определить значения показателей проекта в полном объеме с достаточной степенью достоверности, были проведены дополнительные интервью с кураторами проектов и представителями проектных команд. Полученные во время интервью ответы на вопросы, поставленные экспертами, были обработаны с точки зрения гармонизации с информацией, предоставленной в документах, перечисленных выше, а затем внесены в программный калькулятор.
На рисунках 4-8 представлены иллюстрации графических диаграмм, полученные в результате проведенных с помощью калькулятора ТРВД оценок для проектов «Инфраструктура беспилотников» и «Технологии геологоразведки».
На рисунке 6 показаны значения потенциалов проектов в виде шкал синего цвета, расположенных на диаграмме, цвет которой изменяется от красного - для низких значений потенциала, до зелёного - для высоких значений потенциала. Рисунок 7 и рисунок 8 демонстрируют способность калькулятора определять как общую картину рисков невыполнения проекта, так и проводить детализацию рисков для каждого из показателей, характеризующих риски невыполнения проекта.
Рисунок 3. Алгоритм оценки проекта
Technology Readiness Level
9.
Organ iztional Readiness Level
Commercial Readin Level
Engineering Readiness Level
Manufacturing Readiness Level
Organ iztional Readiness Level
Commercial Readine
Technology Readiness Level
Engineering Readiness Level
Manufacturing Readiness Level
а) б)
Рисунок 4. Характеристики готовности параметров проекта (а - Инфраструктура беспилотников, б - Технологии геологоразведки)
Состояние полного цикла разработки технологии, продукта, процесса или решения в оцениваемом проекте
Состояние полного цикла разработки технологии, продукта, процесса или решения в оцениваемом проекте
Состояние проекта (технология) Документация
Прсекти ром мне технолог»
Устранение барьеров
Финансирование
Масштабирование продукта
а)
Проектирование технологии
Масштабирование продукта
Рисунок 5. Показатели проекта в момент проведения оценки (а - Инфраструктура беспилотников, б - Технологии геологоразведки)
оЛ
а)
Рисунок 6. Диаграммы потенциалов проекта (а - Инфраструктура беспилотников, б - Технологии геологоразведки)
экспертиза
Н
Рисунок 7. Общая диаграмма рисков невыполнения проекта (а - Инфраструктура беспилотников, б - Технологии геологоразведки)
Рисунок 8. Детализация возможных рисков проекта «Технологии геологоразведки»
Оценки проекта «Технологии геологоразведки» показывают, что он в настоящее время носит характер НИР (Т^=3, Е^=2). Вопросы коммерческого использования разработанной технологии не рассматриваются, даже завершённость разработки на ранних стадиях не превышает значения 30%. Проект не опирается на уже апробированную технологию, которая может быть предложена потребителям как составная часть разработанного продукта.
Оценки проекта «Инфраструктура беспилотников», напротив, показывают, что он является самым сбалансированным
и проработанным. Он основан на технологиях, адаптация которых для целей конкретного проекта не должна вызвать существенные затруднения. Если бы для данного проекта уже были бы решены задачи, связанные с созданием импортозамещающих узлов бортового радиоэлектронного оборудования БАС для замены практикуемому в настоящее время использованию импортных узлов, доля которых в некоторых проектах доходит до 90%, то значения параметров проекта увеличились и составили: ТР1_=5, ЕР1_=6, М1^=4, 01^=3, 01^=2. При этом значения завершённости проекта
для ранних стадий разработки и для проекта в целом составили бы 71 и 47% соответственно. Т.е. можно было бы утверждать, что при проведении дополнительных ОКР вероятность успешного завершения проекта была бы высокой, а сроки его выполнения относительно небольшими.
Проект «Инфраструктура беспилотников» характеризуется средними и низкими рисками, которые могут возникнуть при его выполнении только лишь из-за того, что не были представлены доказательства (тесты, эксперименты, испытания), подтверждающие возможность интеграции предлагаемых перспективных элементов технологии с учётом импортозамещения в требуемую в проекте конфигурацию, однако, эти риски легко снимаются после проведения необходимых работ по созданию таких элементов решения. Кроме того, успешное создание таких элементов позволит определить повторно используемое ПО, что также минимизирует соответствующие риски. Также относительно легко могут быть сняты риски, возникающие из-за перехода к новым поставщикам готовых решений для использования в данном проекте.
Из данных, представленных на рисунках 7, 8 видно, что для проекта «Технологии геологоразведки» существуют все группы риска - низкие риски, средние риски и высокие риски. Высокие риски обусловлены тем, что в настоящее время не обоснованы и не подтверждены бюджеты для последующей разработки (Организация работ), а также тем, что команда проекта окончательно не сформирована и ее численность не определена. Низкие и средние риски могут быть минимизированы при правильном подходе к формированию ТЗ и КП проекта.
Вывод о том, что проект «Инфраструктура беспилотников» в наибольшей степени удовлетворяет условиям проводимого в Округе конкурса, сделанный по итогам анализа полученных в результате применения фреймворка ТР1ЗД оценок, совпал с выводом, полученным в результате работы внутренней аналитической группы ФРИИ, однако время, затраченное на его получение оказалось значительно меньше времени, которое потребовалось аналитической группе. Кроме того, по итогам
анализа полученных результатов оценки проектов в калькуляторе ТР1ЗД для каждого из них были выработаны рекомендации, выполнение которых проектными командами повысит ценность проектов.
Результаты исследований, проведённых аналитической группой ФРИИ, были представлены на выездной стратегической сессии в Округе, на которой приняли участие как представители индустрий, рассматриваемые в качестве потенциальных заказчиков в регионе, так и администрация ХМАО-Югры, представляя с одной стороны экспертную оценку технологий, а с другой, выступая в качестве потенциального заказчика от государства. В результате отбора на стратегической сессии в дальнейшую разработку был принят проект ««Инфраструктура беспилотников».
Таким образом, в ходе выполнения совместного проекта по созданию крупного технологического предприятия цифровой экономики ХМАО-Югры были получены три независимые оценки проектов:
• оценка аналитической группы ФРИИ (на базе собранных первичных материалов);
• оценка с помощью фреймворка ТР1ЗД (на базе собранных первичных материалов и проведенных интервью с представителями проектных команд и кураторами проектов);
• оценка проектов со стороны региональных представителей (расширенные презентации проектов).
Во всех случаях были получены коррелирующие друг с другом оценки перспективности проектов для реализации. Следует отметить, что т.к. независимо друг от друга были получены практически совпавшие три оценки, то может быть сделан вывод о достоверности и правильности получаемых в фреймворке ТР1ЗД результатов.
ЗАКЛЮЧЕНИЕ
Анализ применяемых в настоящее время методов оценки технологий и научно-технологических проектов показал, что ограничения и допущения, использованные для их разработки, могут приводить к ошибкам в определении различных оцениваемых показателей, в связи с чем задача разработки методов
комплексной оценки научно-технологических проектов не теряет актуальности и в настоящее время.
Одним из решений этой задачи является фреймворк TPRA, который способен не только проводить оценку научно-технологических проектов (различные количественные характеристики и риски невыполнения проектов), но также снабжать менеджмент компаний и организаций, инвестирующих в R&D, в т.ч. органы управления институтов развития, необходимой информацией для последующего анализа для принятия управленческих решений , направленных на повышение эффектив -ности процесса поддержки R&D в целом.
Объективность и достоверность получаемых оценок при применении фреймворка TPRA были подтверждены при проведении конкурса
по отбору компаний-кандидатов для создания крупного технологического предприятия цифровой экономики в рамках работы ФРИИ с институтами развития ХМАО-Югры. Полученные в ходе проведения конкурса альтернативные независимые оценки, совпадающие с выводами, сделанными при применении фреймворка, свидетельствуют о высоком потенциале применения методики ТР1ЗД для решения задач, стоящих перед институтами развития, за счет улучшения селективности отбора проектов при их конкурсной оценке, повышении качества мониторинга выполнения проектов, а также способностью фреймворка ТР1ЗД предоставлять необходимые данные для анализа инвестиционных рисков, связанных с научно-технологическими проектами, в субъектах финансовой и инвестиционной деятельности.
ЛИТЕРАТУРА
1. Sac/in S.R., Povinelli F, Rosen R. (1989) The NASA technology push towards future space // Acta Austronautica. 20:73-77.
2. Mankins J.C. (1995) Technology Readiness Levels: A White Paper / Advanced Concepts Office, Office of Space Access and Technology, NASA. https:// www.researchgate.net/ publication/ 247705707_Technology_Readiness_Level_-_A_ White_Paper.
3. ISO 16290 (2013) Space systems - Definition of the Technology Readiness Levels (TRLs) and their criteria of assessment / Международная организация по стандартизации. https://www.iso.org/ru/ standard/56064.html.
4. ГОСТ Р 56861 (2016) Система управления жизненным циклом. Разработка концепции изделия и технологий. Общие положения / Российский институт стандартизации. https://www.standards.
ru/document/6134495.aspx.
5. ГОСТ Р 57194.1 (2016) Трансфер технологий. Общие положения / Электронный фонд правовых и нормативно-технических документов. https://docs.cntd.ru/document/1200141164.
6. ГОСТ Р 58048 (2017) Трансфер технологий. Методические указания по оценке уровня зрелости технологий. / Гарант. https://base.garant.ru/ 72237776/.
7. Петров А.Н., Сартори А. В., Филимонов А. В. (2016) Комплексная оценка состояния научно-технических проектов через уровень готовности технологий // Экономика науки. 2(4):244-260.
8. Комаров Л. В., Петров Л. Н, Сартори Л. В. (2018) Модель комплексной оценки технологической готовности инновационных научно-технологических проектов // Экономика науки. 4(1):47-57.
9. Комаров Л.В., Петров Л. Н, Комаров К. Л. (2020) Система и способ обработки данных для комплексной оценки зрелости научно-технологического пректа на основе набора параметров. Федеральный институт промышленной собственности Патент № 1^112733485 С1, https://www.fips.ru/iiss/document.xhtml2faces-re direct=true&id=ee92ff549579c4a3fdd5ca17934 df8ad.
10. Комаров Л. В., Шуртаков К. В., Комаров К.Л. и др.
(2020) Практическое применение методологии комплексной оценки научно-технологических проектов на примере оценки проектов ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» // Экономика науки. 6(1 —2):100—117.
11. Комаров Л В, Шуртаков К. В., Комаров К.Л.
(2021) Использование методологии комплексной оценки научно-технологических проектов для оценки рисков их невыполнения // Экономика науки. 7(1):19—38. (1п 1^.)
12. Сухарев Л.Л., Власенко Л.О. (2019) Формализация выбора вариантов реализации научно-технологического проекта на основе методологии «дорожных карт» / Межотраслевой аналитический центр. https://¡ ac2.ru/documents/ 8/UprInnov2019_SukharevVlasenko_IAC2.pdf.
13. Тулупов А.В., Васильев И.П., Ионов Д.А. и др. (2022) Использование метрик уровней готовности при оценке зрелости продукта или технологии к применению в ОАО «РЖД» // Экономика науки. 8(1):31-45.
14. Жебель В. В., Комаров А. В., Комаров К. А. и др. (2018) Программное средство для комплексной оценки технологической готовности иннвацион-ных научно-технологических проектов // Экономика науки. 4(1):58-68.
15. Петров А.Н., Комаров А.В. (2020) Оценка уровня технологической готовности конкурсных заявок с использованием методологии ТР1?1_ // Экономика науки. 6(1-2):88-99.
16. Комаров А. В., Пихтарь А.Н., Комаров К. А. и др. (2021) Концептуальная модель оценки технологической готовности научно-технологического
проекта и его потенциала на ранних стадиях разработки // Экономика науки. 7(2):111-134.
17. Cooper R.G., Edgett S. J., Kleinschmidt E. J. (1998) Best Practices for Managing R&D Portfolios // Research-Technology Management. 41(4):20-33.
18. Cooper R.G., Edgett S.J. (2006) Stage-Gate and the Critical Success Factors for New Product Development / BPTrends-BPM Analysis, Opinion and Insight. https://www.bptrends.com/bpt/ wp-content/publicationfiles/07-06-ART-Stage-GateForProductDev-Cooper-Edgett1.pdf.
19. Mankins J.C (2009) Technology readiness and risk assessments: A new approach // Acta Astronautica. 65(9-10):1208-1215.
20. Yang K. (2008) Risk Identification: Integration & Ilities (RI3) Guidebook.
Информация об авторах
Комаров Алексей Валерьевич - ORCID: 0000-0003-4703-4702 (Российская Федерация, e-mail: abkom@mail.ru) Фелль Евгений Игоревич - аналитик, Фонд развития интернет-инициатив (ФРИИ);
ORCID: 0000-0002-6126-1664 (Российская Федерация, 101000, г. Москва, ул. Мясницкая д. 13, строение 18; e-mail: evgeny.fell@gmail.com).
Матвеев Дмитрий Александрович - советник, Фонд развития интернет-инициатив (ФРИИ); ORCID: 0000-0002-6277-7267 (Российская Федерация, г. Москва; 101000, г. Москва, ул. Мясницкая 13, строение 18; e-mail: gnosys-project@yandex.ru).
A.V. KOMAROV,
(Moscow, Russian Federation; e-mail: abkom@mail.ru) E.I. FELL,
Internet Initiatives Development Fund (Moscow, Russian Federation; e-mail: evgeny.fell@gmail.com) D.A. MATVEEV,
Internet Initiatives Development Fund (Moscow, Russian Federation; e-mail: gnosys-project@yandex.ru)
FRAMEWORK TPRA FOR COMPREHENSIVE ASSESSMENT OF R&D PROJECTS
UDC: 338.28
https://doi.org/10.22394/2410-132X-2022-8-3-4-255-267
Abstract: The article describes the framework TPRA for a comprehensive assessment of scientific and technological projects. Its comparison with other methods of evaluation of technologies is given. The Framework TPRA allows to evaluate some of possible risks to the institution of innovative development within the processes of R&D-supporting. The practical application of the approaches described in the article demonstrates the results of using the framework TPRA in the practical activities of the Internet Initiatives Development Fund in the field of creating a technological enterprise of the digital economy in the region Yugra.
Keywords: scientific and technological project, R&D, technology readiness level, TRL, technology project potential assessment, TPRA, risk
For citation: Komarov A.V., Fell E. I ., Matveev D.F. Framework TPRA for Comprehensive Assessment of R&D Projects. The Economics of Science. 2022;8(3-4):255-267. https://doi.org/10.22394/2410-132X-2022-8-3-4-255-267
REFERENCES
1. Sodin S.R., Povinelli F, Rosen R. (1989) The NASA technology push towards future space // Acta Aus-tronautica. 20:73-77.
2. Monkins J.C. (1995) Technology Readiness Levels: A White Paper / Advanced Concepts Office, Office of Space Access and Technology, NASA. https://www. researchgate.net/publication/247705707_Tech-nology_Readiness_Level_-_A_White_Paper.
3. ISO 16290 (2013) Space systems - Definition of the Technology Readiness Levels (TRLs) and their criteria of assessment / International Organization for Standardization. https://www.iso.org/ru/standard/ 56064.html.
4. GOST R56861 (2016) Life cycle management system. Product conception and technologies development. General provisions / Institute of Standardization. https://www.standards.ru/document/ 6134495.aspx. (In Russ.)
5. GOST R57194.1 (2016) Technologies transfer. General / Electronic fund of legal and regulatory-technical documents. https://docs.cntd.ru/docu-ment/1200141164. (In Russ.)
6. GOST R58048 (2017) Technology transfer. Technology maturity assessment methodology guide. / Garant. https://base.garant.ru/72237776/. (In Russ.)
7. Petrov A.N., Sortory A.V., Filimonov A.V. (2016) Comprehensive assessment of the status scientific and technical projects using Technology Project Readiness Level // The Economics of Science. 2(4):244-260. (In Russ.)
8. Komorov A.V., Petrov A.N., Sortory A.V. . (2018) The Model of Integrated Assessment of Technological Readiness of Innovative Scientific and Technological Projects // The Economics of Science. 4(1):47-57. (In Russ.)
9. Komorov A.V., Petrov A.N., Komorov K.A. (2020) System and method of data processing for integrated assessment of the maturity of scientific and technological prect on the basis of a set of parameters. Federal Institute of Industrial Property Patent no.RU2733485 d, https://www.fips.ru/iiss/docu-ment.xhtml?faces-redirect=true&id=ee92ff549579c 4a3fdd5ca17934df8ad. (In Russ.)
10. Komorov A.V, Shurtokov K.V., Komorov K.A. et ol. (2020) Practical application of the methodology for the comprehensive assessment of scientific and technological projects using the example of the evaluation of the federal target programs
«Research and development in priority areas for the development of the scientific and technological complex of Russia for 2014-2020» // The Economics of Science. 6(1-2):100-117. (In Russ)
11. Komorov A.V., Shurtokov K V, Komorov K.A. (2021) Risk Assessment of Scientific and Technological Projects with the Methodology of Integrated Assessment of Scientific and Technological Projects // The Economics of Science. 7(1):19-38. (In Russ.)
12. Sukhorev A.A., Vlosenko A.O. (2019) Formaliza-tion of the choice of options for the implementation of a scientific and technological project based on the methodology of «road maps» / IAC Ltd. https:// iac2.ru/documents/8/UprInnov2019_ SukharevVlasenko_IAC2.pdf. (In Russ.)
13. Tulupov A.V., Vosiliev LP, lonov D.A. et ol. (2022) Using Metrics of Readiness Levels in Maturity Assessment of a Product or Technology for Application in JSCo "RZD". // The Economics of Science. 8(1):31-45. (In Russ.)
14. Jebel' V.V., Komorov A. V., Komorov K.A. et ol. (2018) Software for integrated assessment of technological readiness of innovative scientific and technological projects // The Economics of Science. 4(1):58-68. (In Russ.)
15. Petrov A.N., Komorov A.V. (2020) Estimaton of technology readiness level of tender proposal in terms of methodology TPRL // The Economics of Science. 6(1-2):88-99. (In Russ.)
16. Komorov A.V, Pikhtor A.N., Komorov K.A. et ol. (2021) A Conceptual Model for Assessing the Technological Readiness of a R&D Project and its Potential at the Early Stages of Development // The Economics of Science. 7(2):111 —134. (In Russ.)
17. Cooper R.G., Edgett S.J, Kleinschmidt E.J. (1998) Best Practices for Managing R&D Portfolios // Research-Technology Management. 41(4):20-33.
18. Cooper R.G., Edgett S.J. (2006) Stage-Gate and the Critical Success Factors for New Product Development / BPTrends-BPM Analysis, Opinion and Insight. https://www.bptrends.com/bpt/wp-content/ publicationfiles/07-06-ART-Stage-GateForProduct-Dev-Cooper-Edgett1.pdf.
19. Monkins J.C. (2009) Technology readiness and risk assessments: A new approach // Acta Astronautica. 65(9-10):1208-1215.
20. Yong K. (2008) Risk Identification: Integration & Ilities (RI3) Guidebook.
Authors
Aleksey V. Komarov - ORCID: 0000-0003-4703-4702 (Moscow, Russian Federation; e-mail: akom@mail.ru). Evgeny I. Fell - Research Analyst, Internet Initiatives Development Fund (IIDF); ORCID: 000-0002-6126-1664 (Russian Federation, 101000, Moscow, Myasnitskaya str., building 18, house 13; e-mail: evgeny.fell@gmail.com). Dmitrji A. Matveev - Adviser, Internet Initiatives Development Fund (IIDF); ORCID: 0000-0002-6277-7267 (Russian Federation, 101000, Moscow, Myasnitskaya str., building 18, house 13; e-mail: gnosys-project@yandex.ru).
