CC BY-NC-ND
80
Оценка зрелости критических
технологий
Дайана Роша
Научный сотрудник, [email protected]
Жизель Лемеш Вейга Араухо
Научный сотрудник, [email protected]
Франсиско Кристовао Лоренсу ди Мело
Профессор, [email protected]
Технологический институт аэронавтики - ITA (Aeronautics Institute of Technology - ITA), Pra^a Marechal Eduardo Gomes,
50 - Vila das Acacias, Sao José dos Campos - SP, 12228-900 - Brazil
Аннотация
Оценка зрелости технологических проектов становится все более востребованным инструментом инновационной политики. Она позволяет с высокой точностью определять риски и возможности, связанные с реализацией высокотехнологичных разработок. Определение степени готовности технологии, особенно на ранних этапах развития, повышает эффективность не только государственных программ, но и бизнес-проектов. В статье представлен программный интерфейс для подобной экспертизы — «Калькулятор
1АЕ/1ТА ТЕХ», разработанный для бразильского аэрокосмического сектора. Тестирование на ряде кейсов выявило его потенциальную применимость в самых разных отраслях. Инструментарий включает качественное руководство пользователя и улучшенный визуальный интерфейс, которые позволяют легко и оперативно выявить аспекты, требующие дополнительных усилий, чтобы перевести оцениваемый технологический проект на более высокий уровень готовности.
Ключевые слова: инновации; ТЯЬ; уровни готовности технологий; зрелость; управление проектами; поддержка принятия решений; калькулятор ТЯЬ; анализ; оценка; риск; инновационная политика
Цитирование: Rocha D., Araujo G.L.V, Melo F.C.L. (2022) Maturity Assessment of Critical Technologies. Foresight and STI Governance, 16(4), 71-81. DOI: 10.17323/2500-2597.2022.4.71.81
Maturity Assessment of Critical Technologies
Daiane Rocha
Researcher, [email protected]
Gisele Lemes Veiga Araujo
Researcher, [email protected]
Francisco Cristovao Louren^o de Melo
Professor, [email protected]
Aeronautics Institute of Technology - ITA, Pra^a Marechal Eduardo Gomes, 50 - Vila das Acacias, Sao Jose dos Campos - SP, 12228-900 - Brazil
Abstract
A maturity assessment of technological projects is becoming an increasingly popular tool for innovation policy. It enables the accurate determining of risks and opportunities related to the creation of high-tech products. Determining the degree of technology readiness, especially at early stages of development, increases the performance of not only government programs, but also of business projects. This article presents a software interface
for such expertise, the IAE/ITA TRL Calculator, designed for the Brazilian aerospace sector. The validation within a number of cases revealed its potential applicability in a wide variety of industries. This innovative software product includes a quality user guide and an improved visual interface that allows for easy and quick identification of issues that require additional effort in order to move the evaluated technology project to a higher level of readiness.
Keywords: innovation; TRL; technology readiness levels; maturity; project management; decision support; TRL Calculator; analysis; evaluation; risk; innovation policy
Citation: Rocha D., Araujo G.L.V., Melo F.C.L. (2022) Maturity Assessment of Critical Technologies. Foresight and STI Governance, 16(4), 71-81. DOI: 10.17323/2500-2597.2022.4.71.81
Инновационная деятельность как основа экономического развития (Schumpeter, 1934) влияет на конкурентоспособность компаний (Porter, 2008). В Бразилии научно-технологическая и инновационная политика реализуется с начала 1950-х гг., когда были сформированы первые специализированные институты.1 Тем не менее стране пока не удалось стать полноценным участником состязания по освоению космоса. Если раньше этой сферой занимался исключительно государственный сектор, то в последние годы в нее все активнее вовлекаются частные компании. Вкладываются масштабные инвестиции в расчете на укрепление технологической независимости и повышение экономической отдачи. В настоящее время суммарный оборот аэрокосмической отрасли оценивается в 360 млрд долл., а в следующем десятилетии, по прогнозам, он превысит 1 трлн долл.2
Располагая передовыми технологиями и определенными достижениями в инновационном развитии, Бразилия только начинает включаться в аэрокосмическую конкуренцию. В начале 2022 г. состоялся запуск первого исследовательского спутника — «Amazônia-1», спроектированного и сконструированного исключительно бразильскими специалистами.3 Событие рассматривается как технологический прорыв и драйвер инновационных стратегий. Вместе с тем оно стало естественным следствием прогресса страны в динамике индикаторов Глобального инновационного индекса (Global Innovation Index, GII)4 за последние годы, в котором за период 2015-2020 гг. страна переместилась с 70-го на 62-е место (рис. 1). Стремительный подъем фиксировался в 2017-2018 гг. — Бразилия продвинулась на 10 позиций вверх по выпуску инновационной продукции и на две позиции — по инвестициям в нее.
В 2018 г. затраты на исследования и разработки (ИиР) увеличились на 5.2%, что значительно опережает средние темпы роста ВВП. В том же году страна вошла в первую десятку по количеству скачиваний приложений, созданных местными компаниями (Cornell University et al., 2018).
Показатели инновационной деятельности продолжили улучшаться в 2019 и 2020 гг. В общем рейтинге GII по ряду разделов государство переместилось из «красной» зоны в «зеленую», на более высокие позиции (табл. 1). В 2020 г. удалось подняться на самое высокое место за последние пять лет не только в общем рейтинге GII, но и по таким категориям, как состояние бизнеса, продукция высокотехнологичных и творческих ин-
дустрий. Повысилась результативность в направлении «Человеческий капитал и исследования»: Университет Сан-Паулу (Universidade de Säo Paulo, USP) занял пятое место среди 10 лучших университетов в странах со средним и низким уровнем дохода.5
Динамика рейтинга во многом усиливалась за счет деятельности технологических компаний, университетов и исследовательских центров аэрокосмической индустрии. Относящиеся к ней технологии считаются сложными, поэтому потребность в новых эффективных инструментах управления остается высокой (OECD, 2005). Возможность адаптации к оборонным целям наделяет аэрокосмические разработки статусом «критических» (Salgado, 2016; Rycroft, Kash, 2002).
В 1990-е гг. американское правительство определило критические технологии как «имеющие особое значение для обеспечения национальной безопасности и экономического процветания в долгосрочной перспективе».6 Если говорить о Бразилии, то Институт аэронавтики и космонавтики (Institute of Aeronautics and Space, IAE) интерпретирует их как необходимый инструмент развития, «не зависящий» от проектов и программ института. Понятие «не зависящий» означает лишь частичную вовлеченность в создание космических технологий, поскольку осуществлять развернутый процесс могут только главные игроки рассматриваемой области, реализующие космические программы полного цикла (Salgado, 2016).
Рис. 1. Динамика позиций Бразилии в рейтинге Глобального инновационного индекса
80
70
9
58
59
2015
2016
2017
2018
2019
2020
Общее значение GII
Ресурсы для
инновационной
деятельности
Результаты
инновационной
деятельности
Источник: составлено авторами по данным GII.
60
60
58
1 После основания Координационного фонда повышения квалификации персонала (Coordenaçâo de Aperfeiçoamento de Pessoal de Nível Superior, CAPES) были сформированы: Национальный фонд научно-технологического развития (Fundo Nacional de Desenvolvimento Científico e Tecnológico, FNDCT), Бразильский банк развития (Banco Nacional de Desenvolvimento Económico e Social, BNDES) и Бразильское агентство по поддержке научных исследований и разработок (Financiadora de Estudos e Projetos, FINEP).
2 https://www.cnbc.com/2022/05/21/space-industry-is-on-its-way-to-1-trillion-in-revenue-by-2040-citi.html, дата обращения 17.06.2022.
3 Запуск состоялся в рамках миссии PSLV-C51 Индийской организации космических исследований (Indian Space Research Organisation, ISRO). https://www.isro.gov.in/launcher/pslv-c51-amazonia-1, дата обращения 19.06.2022.
4 В качестве индикаторов GII используются венчурный капитал, исследования и разработки, предпринимательство и высокотехнологичное производство.
5 https://www.topuniversities.com/university-rankings-articles/latin-american-university-rankings/top-10-universities-latin-america-2020, дата обраще-
ния 15.06.2022.
Табл. 1. Динамика позиций Бразилии в рейтинге Глобального инновационного индекса по субиндексам
Субиндексы Годы
2015 2016 2017 2018 2019 2020
Общий рейтинг 70 69 69 64 66 62
Институты 85 78 91 82 80 82
Человеческий капитал и исследования 63 60 50 52 48 49
Инфраструктура 67 59 57 64 64 61
Насыщенность рынка 87 57 74 82 84 91
Деловой климат 37 39 43 38 40 35
Результативность в сфере знаний и технологий 72 67 85 64 58 56
Продукты творческой деятельности 82 90 83 78 82 77
Источник: составлено авторами по данным GII.
Разработка критических технологий — необходимое условие для участия в космических проектах. Аэрокосмическая индустрия динамично растет (в среднем на 6% в год) и приносит значительные доходы, однако требует технологий и продуктов повышенной сложности, что связано с высокими рисками (Salgado, 2016). Чтобы повысить эффективность реализации разработок, Национальное управление по аэронавтике и исследованию космического пространства США (National Aeronautics and Space Administration, NASA) в 1960-е гг. создало системную классификацию для их оценки по уровням технологической зрелости (Technology Readiness Levels, TRL). Главной целью было снижение рисков при переходе от создания к использованию технологий
Рис. 2. Уровни риска, связанные с использованием технологий
Высокий риск Низкий риск
1 2 3 4 5 6 7 8 9
Источник: составлено авторами на основе (NASA, 2020).
(рис. 2) (NASA, 2020). Инструментарий TRL позволяет сравнивать разные типы технологий и формирует более полное представление о динамике их развития. Сегодня он охватывает девять уровней — от фундаментальных исследований до ввода технологий в производство и масштабирования (Mankins, 2009).
На основе показателя TRL Бюджетное управление правительства США (United States Government Accounting Office, GAO) отбирает проекты для реализации. Заявки с уровнем TRL ниже 6 отклоняются. Европейская комиссия также руководствуется им для оценки проектных инвестиций в рамках программы «Horizon Europe».7 Бразильская корпорация развития науки и промышленных инноваций (Empresa Brasileira de Pesquisa e Inovaqäo Industrial, EMBRAPII), реализующая государственные программы по стимулированию инновационной деятельности, в качестве порогового значения принимает TRL-3.8
Показатель TRL рассчитывается разными способами. В США действуют четыре варианта этой метрики: калькулятор TRL (TRL Calculator), разработанный Исследовательской лабораторией ВВС США (United States Air Force Research Laboratory, ARFL)9; руководство Министерства обороны США (United States Department of Defense, DoD)10; контрольные перечни NASA и GAO.11 Собственный подход к TRL выработало Европейское космическое агентство (European Space Agency, ESA) и отразило его в специальном справочнике (ESA, 2008). Таким образом, на практике использование TRL адаптируется в соответствии со спецификой организации-пользователя. Бразильские инвестиционные организации и научно-исследовательские институты для оценки текущего состояния и целей проекта в обязательном порядке учитывают TRL.12
На адаптацию методологии TRL к бразильскому контексту, помимо объективного фактора высокого риска, присущего космическим технологиям, повлиял ключевой внутренний барьер — дефицит человеческих и финансовых ресурсов для их развития.13
Уровень готовности технологий
Классификация TRL с момента создания в 1960-е гг. оперировала семью уровнями, но с 1990-х гг. их число расширилось до девяти. Тогда же были составлены детальные определения для каждого уровня (Mankins, 2009), которые, впрочем, оказались недостаточными. Учитывая высокую популярность рассматриваемой ти-
7 https://ec.europa.eu/research/participants/data/ref/h2020/wp/2014_2015/annexes/h2020-wp1415-annex-g-trl_en.pdf, дата обращения 19.02.2022.
8 https://embrapii.org.br/wp-content/images/2020/08/MINUTA-RELATO%CC%81RIO-ANUAL-2019-EMBRAPII-Vers%C3%A3o-Final-SAF-L1_ revisado.pdf, дата обращения 07.03.2022.
9 http://www.af.mil/AboutUs/FactSheets/Display/tabid/224/Article/104463/air-force-research-laboratory.aspx, дата обращения 06.06.2022.
10 https://www.researchgate.net/file.PostFileLoader.html?id=5566cff45cd9e318e88b4696&assetKey=AS:273785192681472@1442286884102, дата обращения 11.01.2022.
11 https://www.gao.gov/assets/gao-20-48g.pdf, дата обращения 04.01.2022.
12 Среди них — Бразильская сельскохозяйственная исследовательская корпорация (Empresa Brasileira de Pesquisa Agropecuária, EMBRAPA),
Национальный институт космических исследований (Instituto Nacional de Pesquisas Espaciais, INPE), Амазонский федеральный университет (Universidade Federal do Amazonas, UFAN), сеть офисов по защите прав интеллектуальной собственности и трансфера технологий (Programa de Pós-Gradua^ao em Propriedade Intelectual e Transferencia de Tecnologia, PROFNIT), а также Бразильское космическое агентство (Agencia Espacial Brasileira, AEB).
Рис. 3. Динамика числа публикаций по теме TRL, по годам издания
Рис. 4. Прогноз роста числа публикаций по теме TRL
По годам
Кумулятивный показатель
1 2 3 4 6 9 16 23 28 37 48 68^2^ 30 32 47 39 50 63 93 96 92 114131
1 1 1 1 2 3 7 7 5 9 11 20 24 23 30 32 47 39 50_
99990000000000
Источник: составлено авторами на основе (Salgado, 2016).
200-
150-
Í
В 100-
Линейная модель тренда
У1 = -37.5 + 4.597x1
Переменные
• Реальное значение I Подгонка ф Прогноз
an Г 209 ., ■ 93 V1^* ,6493« "115
93 96 93
Меры точности
MAPE 275.921 MAD 20.303 MSD 722.121
пологии, многие организации и отрасли адаптировали ее к собственным потребностям. Актуальность системы TRL подтверждена библиометрическим анализом, выявившим рост числа посвященных ей публикаций (Araujo, 2020). Исследование проводилось по материалам базы данных «ядра» Web of Science за 1991-2021 гг. с применением поисковой формулы «technology readiness level OR technology readiness levels» (рис. 3). Ограничение периода поиска 1990-ми гг. связано с датой первой публикации, в которой упомянуты девять уровней технологической зрелости. Всего опубликованы 1103 статьи по теме TRL в 71 стране, из которых основная доля приходится на США (39% всех публикаций), Англию (12%) и Германию (11%). Они распределились по 124 тематическим категориям. Из общего массива работ 53% относятся к прикладным областям, в том числе 19% — к аэрокосмической индустрии.
На рис. 3 наблюдается заметное увеличение темпов публикаций в 2010-е гг., связанное с принятием в 2013 г. стандарта ISO 16290:2013 (позднее изменен на ABNT NBR ISO 16290:2015), определяющего TRL. В первую очередь он относится к материалам, предназначенным для космических систем, но во многих случаях соответствующие определения можно трактовать шире.14 Представленный на рис. 4 прогноз предполагает дальнейший рост числа публикаций по TRL и активности в использовании этой метрики в ближайшие годы.
Стандарт ISO 16290:2013 регламентирует работу с TRL в аэрокосмическом секторе, прежде всего в отношении
1994 1998 2002 2006 2010 2014 2018 Источник: составлено авторами.
программного обеспечения. Данный инструментарий предоставляет значительные преимущества и вместе с тем определенные ограничения (табл. 2). Его значимость для развития аэрокосмического сектора Бразилии подчеркнута в «Национальном плане адаптации» (National Adaptation Plan, NAP) (Salgado, 2Q16).
GAO опубликовало исследование, в котором сравнивало свои проекты, основанные на TRL выше шести, с результативностью сторонних программ, допускавших любые уровни (Sullivan, 2QQ7). Установлено, что проекты с TRL-6 и выше, как правило, реализовывались без задержки графика и дополнительных затрат. В свою очередь, в программах, расположенных ниже этой отметки, расчетное время реализации увеличивалось на 120%, а первоначальный бюджет возрастал на 101%. Классификацией TRL, помимо уже упоминавшихся NASA, ESA, AFRL и DoD, активно пользуются Японское агентство аэрокосмических исследований (Japan Aerospace Exploration Agency, JAXA), Министерство науки, технологий и инноваций (Ministério da Ciência, Tecnologia e Inovaçôes, MCTI), Национальный институт космических исследований (Instituto Nacional de Pesquisas Espaciais, INPE) и Вооруженные силы Бразилии. В частном секторе TRL практикуют такие компании, как ALSTON, Google, Embraer, Raytheon и др. (Rocha, 2Q16).
Табл. 2. Преимущества и недостатки показателя TRL
Недостатки (ОксЬо^^Ы е! а1., 2015) Преимущества (Dawson, 2007)
• Не оценивает ноу-хау, учитываются только документированные данные • Не измеряет средства передачи знаний • Не анализирует политико-правовые аспекты • Не стандартизирует оценку • Не охватывает экономические и документальные факторы • Не предусматривает количественный анализ • Позволяет легко оценить текущее состояние технологии с позиций ее целевого использования • Дает возможность сравнивать технологии на одних и тех же этапах разработки (моментальный снимок) • Облегчает управление рисками • Помогает принимать решения о финансировании новых разработок и их внедрении • Обеспечивает превентивную количественную оценку зрелости технологии
Источник: составлено авторами по материалам перечисленных работ.
14 https://www.target.com.br/produtos/normas-tecnicas/43781/nbriso16290-sistemas-espaciais-definicao-dos-niveis-de-maturidade-da-tecnologia-trl-e-de-seus-criterios-de-avaliacao, дата обращения 06.06.2022.
209
F 5Q
0
Табл. 3. Элементы экспертизы TRL
Компонент Описание
1. Решение об оценке Принимается на регулярной основе или ситуативно, при определенных изменениях проекта или технологии
2. Определение терминов В экспертизе участвуют: координатор, документирующий результаты; специалист, владеющий технологией; менеджер, ответственный за ее разработку, понимающий бизнес-среду (NBR ISO 16290: 2013)
3. Выявление технологий Оцениваются все технологии производственной модели; в случае небольшого обновления можно ограничиться сопутствующими разработками (NASA, 2020)
4. Сбор данных Проводится совместно с разработчиками технологии с использованием контрольного списка по стандарту NBR ISO 16290:2015
5. Оценка Проходит в три этапа: a) демонстрируется методология оценки TRL, формируется единое представление о ее сути и задачах; b) систематизируются данные о технологии на разных стадиях: от разработки концепции до ввода в производство; c) анализируется TRL (заполнение анкеты, работа с контрольным списком).
Источник: составлено авторами.
Материалы и методы
Чтобы устранить ограничения инструментария TRL, накладываемые стандартом ISO 16290:2013, упростить его применение и расширить сферу охвата, была введена спецификация NBR ISO 16290:2015 (далее — NBR ISO), дополненная новыми критериями: экономические, политико-правовые и технические аспекты, а также возможность управления знаниями. Первая версия калькулятора разработана на основе опыта NASA, ESA, DoD и AFRL и контрольного списка ISO 16290:2013. Ряд бразильских институтов развития оценили калькулятор TRL как эффективный и простой в использовании.15 С ним работают многие научные сотрудники IAE.16
Несмотря на востребованность калькулятора TRL, в его функционале имеется ряд недостатков:
• отсутствует дифференциация весов анализируемых направлений;
• прослеживается предвзятость в вопросах, связанных со стандартами ISO;
• выражена потребность в улучшении визуализации результатов на табло;
• суть некоторых вопросов недостаточно понятна для пользователей;
• применимость к технологиям за пределами аэрокосмического сектора ограничена.
Выявлены некоторые различия в практиках работы с TRL среди аэрокосмических организаций (Rocha, 2016). В ходе разработки первой версии калькулятора эти нюансы были проанализированы и приняты во внимание. В результате обновилась пятая часть процедуры оценки TRL, элементы которой представлены в табл. 3.
Калькулятор TRL IAE/ITA
IAE в настоящее время руководствуется второй версией калькулятора TRL, применяя его на пятом этапе экспертизы (табл. 3). Данный инструментарий основан на
ресурсах Microsoft Excel. По сравнению с первоначальной версией калькулятор дополнен учетом технических, экономических, политико-правовых и документальных аспектов. Перед началом работы эксперты (менеджеры, технические специалисты и исследователи) знакомятся с содержанием и задачами экспертизы по методологии TRL. Формируется единое понимание ее роли в принятии решений по проекту, позволяющих избежать лишних бюджетных расходов, соблюсти график проекта и оптимизировать трудозатраты.17 Процесс оценки TRL с помощью калькулятора включает четыре этапа.
1. Демонстрация методологии. Предоставляется информация о требованиях, предъявляемых различными уровнями зрелости, содержании, концепции, принципах и преимуществах оценки.
2. Сбор данных о технологии. Обозначается ее название и приводятся ключевые характеристики.
3. Назначение весов оценочным критериям. Осуществляется в соответствии с пятибалльной шкалой Лайкерта.
4. Оценка зрелости технологии. Выводы делаются на основе собранных данных с помощью анкеты и контрольного списка.
Для удобства реализации первого (демонстрационного) этапа в калькулятор встроены основные критерии стандарта NBR ISO и руководство по его использованию (рис. 5). Последнее содержит контекстную информацию о TRL, инструкцию по выполнению расчетов и интерпретации результатов. Критерии контрольного списка, интегрированные в калькулятор, распределены по группам: 1) определение каждого уровня технологической зрелости; 2) необходимые шаги для его достижения; 3) документальное обеспечение (рис. 6).
Нажатие на кнопку «Старт» переводит ко второму этапу — ответам на вопросы о характеристиках технологии (рис. 7), которые предполагают сбор данных для документирования и не влияют на расчеты по оценке
15 Среди них — Бразильское агентство промышленного развития (Agência Brasileira de Desenvolvimento Industrial, ABDI), Бразильское космическое агентство (Agência Espacial Brasileira, AEB) и сеть офисов по защите прав интеллектуальной собственности и трансфера технологий (Programa de Pôs-Graduaçao em Propriedade Intelectual e Transferência de Tecnologia, PROFNIT).
16 https://iae.dcta.mil.br/index.php/calculadoras-trl-e-mrl, дата обращения 06.06.2022.
Рис. 5. Начальная страница калькулятора TRL IAE-ITA-2021-1
Технологический институт аэронавтики
Уровень технологической зрелости - TRL
Что это?
ТИЬ — это демонстрационный инструмент для оценки зрелости технологии, продукта или проекта. Создает информационную базу для принятия обоснованных
решений, гарантирующих соблюдение бюджета и графика проекта, экономию трудозатрат. С его помощью заинтересованные стороны (менеджеры, технические специалисты и исследователи) могут сформировать общие представления о перспективах проекта. ТИЬ оценивает текущий статус разрабатываемых технологий,позволяет их сравнивать и облегчает выбор дальнейших шагов.
КАЛЬКУЛЯТОР АДАПТИРОВАН В СООТВЕТСТВИИ С ТРЕБОВАНИЯМИ СТАНДАРТА NBR ISO 16290:2015
NBR ISO 16290:2015
Авторы:
Дайана Роша, Франсиско Кристовао Лоренсу ди Мело
Руководство пользователя
СТАРТ
Источник: https://iae.dcta.mil.br/images/Calculadora_MRL_e_ TRL/CalculadoraTRLIAEITA2020.xlsm, дата обращения 12.06.2022 (in Portuguese).
Табл. 4. Статус технологии
Уровень TRL Группа ТЯЬ Описание группы ТЯЬ
1-3 Исследования и разработки Научная деятельность, анализ и формирование концепции новой технологии
4-6 Создание технологии Разработка технологии и ее прототипа, лабораторное тестирование
7-9 Практическое тестирование и ввод в производство Демонстрация в космическом пространстве, выполнение задач, масштабирование, выстраивание партнерских сетей, передача технологии в промышленность
Источник: составлено авторами на основе (NASA, 2020).
зрелости. Следует указать название технологии, имя респондента, дату оценки. Тип технологии выбирается между двумя категориями: аппаратное либо программное обеспечение. При определении ее целевого статуса необходимо указать один из трех вариантов: исследования и разработки; создание технологии; практическое тестирование и ввод в производство (табл. 4). Следующий вопрос касается сферы применения технологии: инфраструктура, распространение или прямое использование.
• Инфраструктурные технологии (другими словами, прорывные или базовые) формируют основу дальнейшего технологического развития. В аэрокосмическом секторе применяются в транспортных средствах или спутниках.
• Технологии распространения имеют промежуточный или вспомогательный статус, позволяя функционировать другим технологиям.
• Прикладные технологии адресованы непосредственно конечным потребителям.
Кнопка «Начать оценку» переводит на третий этап экспертизы, где каждому аспекту, по которому оце-
нивается технология, назначаются определенные веса (рис. 8), установленные по 5-балльной шкале Лайкерта. Этот подход широко используется при анкетировании, когда необходима углубленная и многосторонняя оценка той или иной темы. Веса определяются по степени важности — от минимальной до максимальной. Можно присвоить наибольшее весовое значение всем характеристикам или ни одной. Оцениваются пять критериев: соответствие стандарту NBR ISO, глубина инженерных знаний, связанных с технологией, экономическая и политико-правовая целесообразность ее разработки и коммерциализации. Документальный критерий анализирует возможность управления знаниями по рассматриваемой технологии.
Весовые значения важности назначаются с помощью пятибалльной шкалы Лайкерта: 1 — минимальная; 2 — низкая; 3 — средняя; 4 — высокая; 5 — максимальная. Они влияют на расчет TRL. Затем определяется допустимая величина отклонения технологии от полного соответствия требованиям того или иного уровня. Например, AFRL руководствуется пороговым значением соответствия 85%. Таким образом, для перевода технологии на более высокий TRL допускается отклонение в размере 15%.18 AFRL стремится доводить свои разработки до TRL-6, после чего передает внешним специалистам для дальнейшего совершенствования.
Рис. 6. Стандартные требования (адаптированный стандарт NBR ISO 16290:2015)
ABNT BNR 16290 Табличный итоговый чек-лист
Уровень технологической зрелости
TRL 1: Выявлены и сформулированы базовые принципы
Достигнутая точка развития технологии
На основе предварительных наблюдений определены потенциальные сферы применения, однако концепция еще не разработана
НАЗАД
Выполненные работы (задокументированы)
Формулирование основных принципов для использования технологии, выявление потенциальных сфер применения
Источник: https://iae.dcta.mil.br/images/Calculadora_MRL_e_TRL/CalculadoraTRLIAEITA2020.xlsm, дата обращения 12.06.2022 (in Portuguese).
Рис. 7. Характеристики технологии
Калькулятор TRL IAE/ITA-2016-2
Целевой статус Выберите один из следующих вариантов ответа
ТИЬ 1-3. Исследования и разработки (ИиР) — Научная деятельность, анализ и формирование концепции новой технологии
ТИЬ 4-6. Создание технологии — Разработка технологии и ее прототипа, лабораторное тестирование
ТИЬ 7-9. Практическая апробация и ввод в производство — Демонстрация в космическом пространстве, завершение задач, масштабирование, выстраивание партнерских сетей, передача технологии в промышленность
Назначение технологии
Выберите один из следующих вариантов ответа
• Имеют статус прорывных или базовых. Формируют основу дальнейшего технологического развития
о Носят статус промежуточных. Создают базу для практического использования других технологий
о Используются непосредственно конечными потребителями
НАЧАТЬ ОЦЕНКУ
Источник: https://iae.dcta.mil.br/images/Calculadora_MRL_e_TRL/CalculadoraTRLIAEITA2020.xlsm, дата обращения 12.06.2022 (in Portuguese).
Основные дан ные технологии
Заполните следующие поля
Название Технология Х Имя эксперта Дайана Роша
Дата оценивания 07.01.2018
О Аппаратное обеспечение | • Программное обеспечение |
Степень допустимого отклонения определяется на основе суммы ответов по группе контрольных вопросов, касающихся конкретного TRL. Если степень «незавершенности» обозначена в каждом ответе, то рассчитывается среднее значение «соответствия» по всем вопросам, например 85%. Технология не может получить более высокий TRL при условии, что фактическая величина «несоответствия» превышает допустимый порог отклонения.
Следующий этап экспертизы заключается в ответах на контрольные вопросы (рис. 9), которые имеют отношение к пяти ранее упоминавшимся оценочным критериям (соответствие NBR ISO, технические и т. д.). Они сформулированы таким образом, чтобы связь оставалась «невидимой», в целях повышения объективности оценки.
Некоторые вопросы касаются сразу нескольких критериев. Ответ учитывается для каждого из них (рис. 8). Предлагается оценить степень завершенности работ, упоминающихся в том или ином вопросе. Ее значение варьирует в диапазоне от 0 до 100%. Чтобы изменить
присвоенную величину, достаточно воспользоваться регулирующими стрелками напротив каждого вопроса. После ответа на все 113 вопросов анкеты результаты сопоставляются. Сравниваются степень соответствия NBR ISO и суммарные ответы по дополнительным критериям. В результате появляется информационное табло, визуализирующее дистанцию между текущим и следующим уровнем зрелости (лепестковая диаграмма на рис. 10).
Лепестковая диаграмма строится на основе показателя ATRL, определяемого как разница между текущим и целевым уровнями зрелости технологии (ATRL = TRL „ - TRL, „). Каждый следующий этап разви-
целевои фактическим' J 1
тия означает более высокий уровень зрелости разработки. Чем больше стадий предстоит пройти за некоторый период времени, тем выше неопределенность в отношении ИиР (Mankins, 2002). В итоге выявляется взаимосвязь между двумя факторами, которые напрямую влияют на график разработки — повышенным TRL и ростом затрат на технологические проекты (Araujo, 2020).
Созданная нами методика была апробирована на четырех аэрокосмических технологиях. Кейсы выбирались
Рис. 8. Веса критериев оценки
Калькулятор TRL IAE/ITA-2016-2
Н-...... т......_„__. Т-------------Тип ....... Программное обеспечение
Имя экшерт^^^Н Дайана Роша ^^^^^^Целевой Валидация и ввод в производство
^■¡ВВЕН^Н 07.01.2018 ^■ПЯИЯЕВВЯВН Инфраструктура
Назначение весов различным измерениям
Выберите одну из степеней важности: 1 - минимальная; 2 - низкая; 3 - умеренная; 4 - высокая; 5 - максимальная
Оценка соответствия технологии требованиям стандарта ABNT NBR ISO 16290:2015
Технические знания и производственные мощности, необходимые для разработки технологии
Экономическая целесообразность разработки и эксплуатации технологии
Политико-правовая целесообразность разработки и коммерциализации технологии
Формирование базы знаний (на основе научных публикаций, патентов и других документов) для управления технологическим процессом
Величина допуска
Выберите величину допуска (в %), на основе которой технология может быть причислена к тому или иному уровню зрелости
Величина допуска ^ 26%
Рис. 9. Оценка зрелости технологии
Название технологии
Технология Х
Дайана Роша
Дата оценивания
Комментарии:
Калькулятор TRL IAE/ITA-2016-2
% завершенности
TRL 1: Выявлены и сформулированы базовые принципы
Основные принципы определены?
Потенциальные области применения технологии известны?
Были ли задокументированы исследования, подтверждающие основные принципы?
Выявлены ли законы и допущения, используемые в новой технологии, которые не запрещают ее дальнейшую разработку?
Оценивались ли (с последующим документированием) риски, затраты и сроков проведения технологических исследований?
Определены ли исполнители и места проведения технологических исследований?
Найдены ли источники финансирования или спонсоры, заинтересованные в реализации технологии?
Проводят ли уже какое-либо стороннее научное учреждение или компания исследования этой технологии в стране?
Проводились ли поисковые исследования?
Имеются ли научные публикации в журналах или материалах конференций, посвященные рассматриваемой технологии?
Источник: https://iae.dcta.mil.br/images/Calculadora_MRL_e_TRL/CalculadoraTRLIAEITA2020.xlsm, дата обращения 12.06.2022 (in Portuguese).
так, чтобы имелась возможность сравнивать их по нескольким аспектам:
• применение в разных секторах: одна оборонная (MARIMBA) и три космические — термопластичные композиты, армированные углеродным волокном (далее — армированные термокомпозиты), двигатели L75 и VSB-30;
• завершенные проекты (MARIMBA и VSB-30) и текущие (армированные термокомпозиты и двигатель L75);
• технологии системного характера (MARIMBA, двигатели VSB-30 и L75) и базовые (армированные термокомпозиты).
Рассмотренные технологии представлены в табл. 5. Экспертиза проходила в формате интервью с экспертами продолжительностью около двух часов и включала пять этапов, описанных в табл. 3. Применялась вторая версия калькулятора TRL IAE/ITA. Во всех случаях предусматривались одинаковые значения весов.
Результаты
В большинстве случаев оценка TRL по стандарту NBR ISO оказалась выше, чем с использованием критериев, разработанных для калькулятора. Технология VSB-30 по каждому критерию получила максимальное значение. Показатель субъективности в ее отношении оказался нейтральным, а по другим технологиям продемонстрировал величину 75%. Опрошенные эксперты подтвердили важность включения дополнительных аспектов: экономических, технических, политико-правовых и документальных. Последний облегчает передачу знаний и компетенций, необходимых для разработки технологий. Сам процесс технологического трансфера, предусмотренный на высшем уровне TRL, влияет на масштабирование производства. Он становится возможным при учете экономических вопросов и наличии утвержденного бизнес-плана. Проработка политико-правовых аспектов имеет значение для развития технологии, например, в условиях эмбарго.
Рис. 10. Статус технологии
Название технологии
Технология Х
Тип технологии
Статус технологии
Имя эксперта
Целевой статус
Дайана Роша
Дата оценки
Назначение
Программное обеспечение Апробация и ввод в производство Инфраструктурное
Весовые значения аспектов по пятибалльной шкале Лайкерта
ISO Технический Экономический
1 5 5
TRL ISO TRL
16290:2015 GENERAL
с \
Новая оценка
Диагностика
Отражает степень завершенности (в процентах) проработки вопросов соответственно специфике конкретного ТЯЬ
Соответствие ISO
Технический аспект
Экономический ^ аспект
Табл. 5. Оцененные технологии
Технология Описание
1. MARIMBA В 2011 г. завершена разработка материалов, устойчивых к баллистическому воздействию, для использования в самолетах, вертолетах и другой военной технике. Технологию планировалось довести до TRL-9, но передача в промышленность не состоялась из-за бюрократических барьеров.
2. CARBON Создаются армированные углеродные волокна на основе термопластичных углеродных композитов. Благодаря им получаются легкие материалы, применимые в широком спектре секторов.
3. L75 Разрабатывается ракетный двигатель на жидком кислороде и керосине. Технологии присвоен статус стратегической. Предполагается, что она повысит эффективность жидкостных двигателей и конкурентоспособность ракет-носителей на международном рынке космических перевозок. Прототип проходит стадию лабораторных испытаний и научных исследований. Стоит задача выйти на TRL-5.
4. VSB-30 Сконструирована звуковая ракета в партнерстве IAE с Германским аэрокосмическим центром (DLR). Получены сертификаты от Европейского и Шведского космических агентств, DLR, компаний Kayser-Threde и EADS. Осуществлено семь успешных запусков. Передача технологии в промышленность позволит наладить массовое производство и увеличит приток инвестиций. VSB-30 признана лучшей в своей категории с международной сертификацией. Дальнейшим развитием проекта занимаются компании: Villares, Cenic, Tibraforte, Mectron, Compsis, Avibrás, Orbital и др.
Источник: составлено авторами.
Комбинирование количественных и качественных данных позволяет точнее оценивать различные блоки проектов. Стандартизация экспертизы дает возможность сравнивать не только конкретные проекты, но и применение одних и тех же технологий в разных контекстах. Визуальный формат результатов также получил позитивный отклик, так как наглядно отображает направления, требующие доработки, чтобы перейти на новый уровень зрелости.
При тестировании индикатора ATRL были дополнительно изучены четыре проекта силовых установок, рассмотренных в работе (Salgado, 2016). Речь идет о проектах по созданию твердотопливной двигательной установки («Garganta de Tubeira C/C»), турбонасоса («Turbobomba»), камеры сгорания («Cámara de Combustao») и жидкостной двигательной ступени («Estágio Propulsivo Líquido»). IAE определил их как критически важные и требующие дальнейшей разработки. Исследование, описанное в работе (Salgado, 2016), основывалось на результатах профильных семинаров и опросов специалистов, проводившихся в 2014 г., а оценка по методу TRL не предусматривалась. Чтобы ее реализовать, мы вновь воспользовались второй версией калькулятора TRL, которая учитывает стандарт ABNT NBR наряду с национальными и специфическими для аэрокосмического сектора критериями.
В табл. 6 представлены результаты анализа TRL по упомянутым проектам, сопоставлявшиеся с данными исследования (Salgado, 2016). Расчеты ATRL представлены в табл. 7.
Дискуссия
Оценка по показателям зрелости дает общее представление о текущей стадии развития технологий и отражает целостную динамику процесса. Улучшается информационная основа для управления проектами, повышается их результативность (Araujo, 2020). Сравнение наших результатов с данными работы (Salgado, 2016) показало, что проект «Garganta de Tubeira C/C», изначально получивший TRL-5, при использовании второй версии калькулятора IAE/ITA снизился до TRL-1. Проекты «Turbobomba» и «Cámara de Combustao» разрабатывались совместно
как подсистемы одного двигателя L75 MFPL. В соответствии с выводами работы (Salgado, 2016) они относились к TRL-2, однако по критериям IAE/ITA и стандарта NBR ISO поднялись до уровня TRL-4. Проект «Estágio Propulsivo Líquido» по версии калькулятора TRL получил оценку TRL-1, тогда как в соответствии с критериями NBR ISO и методологии (Salgado, 2016) — TRL-2.
Таким образом, применение калькулятора позволяет точнее определить показатель TRL, особенно при работе с технологиями, расположенными на нижних уровнях зрелости.
Исследование (Salgado, 2016) основывалось на данных 2014 г. Наша оценка посредством калькулятора TRL проводилась в 2018 г. За прошедший период лишь два проекта из четырех повысили свой TRL: «Turbobomba» и «Cámara de Combustáo» (оба на две позиции). Их успех объясняется, скорее всего, тем, что руководители привлекли инвестиции и создали коллаборации. В свою очередь, проект «Garganta de Tubeira C/C» стагнировал из-за того, что Департамент науки и технологий аэрокосмического сектора (Departamento de Ciencia e Tecnologia Aeroespacial, DCTA) не смог привлечь финансирование и партнеров для создания прототипа. Наконец, технология жидкостной двигательной ступени была «заморожена» ввиду изменения приоритетов.
Табл. 6. Оценка TRL для проектов силовых установок
Проект TRL NBR ISO 16290:2015 Калькулятор trlNbr IAE/ITA -2016-1 TRL (Salgado, 2016)
«Garganta de Tubeira C/C» 3 1 5
«Turbobomba» 4 4 2
«Cámara de Combustao» 4 4 2
«Estágio Propulsivo Líquido» 2 1 2«
Источник: составлено авторами.
Табл. 7. Оценка ДTRL
Проект Фактический TRL Целевой TRL Д TRL
«Garganta de Tubeira C/C» 1 5 4
«Turbobomba» 4 7 3
«Cámara de Combustao» 4 7 3
«Estágio Propulsivo Líquido» 1 7 6
Источник: составлено авторами.
Гибкость и полноту оценки технологий с помощью калькулятора на основе Microsoft Excel удалось повысить за счет включения вопросов, относящихся к технологической, экономической, документальной и политико-правовой проблематики. Процесс оценки стандартизирован и оптимизирован. Тестирование методологии на нескольких кейсах позволило адаптировать ее к разным секторам (космическому и оборонному), проектам (завершенным и текущим) и технологиям (базовым и системным). Тем самым выполнена задача настоящего исследования.
Заключение
По результатам совершенствования калькулятора TRL была представлена его обновленная, вторая версия. Изменения коснулись следующих аспектов.
Дифференциация весов различных аспектов оценки. В первой версии калькулятора все они имели одинаковый вес. В обновленной версии можно назначать разные веса каждой категории критериев — политико-правовые, технические, документальные, экономические, соответствие ISO. Веса присваиваются с помощью пятибалльной
шкалы Лайкерта — от минимальной степени важности до максимальной (см. выше) и влияют на итоговый показатель TRL.
Предвзятость в отношении вопросов, связанных с использованием стандартов ISO. В первоначальной версии инструмента присутствовали явные маркеры того, какие вопросы учитывались при оценке соответствия ISO, а какие нет. В новом варианте вопросы сформулированы таким образом, что эта связь остается скрытой.
Нечеткое отображение прогресса технологии на табло. Добавление лепестковой диаграммы и введение показателя ATRL облегчили выявление областей, нуждающихся в дополнительных мерах по переводу разработки на более высокий уровень зрелости.
Неоднозначность интерпретации некоторых вопросов. Устранена за счет добавления глоссария в инструкцию по работе с программой.
Сложность в применении к технологиям за пределами аэрокосмического сектора. Упрощение работы с калькулятором TRL и его адаптация к контексту других секторов стали возможными благодаря унификации аэрокосмической терминологии, используемой в анкетах, их корректировке и добавлению новых вопросов. Это позволило превратить калькулятор в полноценный инструмент управления проектами.
В Бразилии растет спрос на оценку зрелости инноваций, особенно в программах государственного стимулирования исследований и разработок. Поскольку в подобном инструментарии нуждаются разнопрофильные ведомства и научные институты, возрастает необходимость разработки вспомогательных модулей, адаптирующих базовую версию к потребностям различных секторов. Рассматриваемое программное средство и процедура работы с ним в ходе тестирования подтвердили свою полезность и воспроизводимость.
Библиография
Araujo G.L.V (2020) Maturity analysis of critical technologies in the area of propulsion for launching space vehicles (PhD Thesis in Space Systems, Testing and Launching), Sao José: Instituto Tecnológico de Aeronáutica (in Portuguese).
Cornell University, INSEAD, WIPO (2018) Global Innovation Index, 2018. https://www.wipo.int/publications/ru/details.jsp?id=4330, дата обращения 26.09.2022.
Cornell University, INSEAD, WIPO (2021) Global Innovation Index, 2021. https://www.globalinnovationindex.org/gii-2021-report, дата обращения 26.09.2022.
Dawson B. (2007) The impact of technology insertion on organizations, London: Human Factors Integration Design Technology Center. https:// www.yumpu.com/en/document/view/7259386/the-impact-of-technology-insertion-on-organisations, дата обращения 29.09.2022.
ESA (2008) Technology Readiness Levels Handbook for Space Applications, Paris: European Space Agency. https://artes.esa.int/sites/default/files/ TRL_Handbook.pd f, дата обращения 20.03.202l.
Mankins J.C. (2002) Approaches to strategic research and technology (R&T) analysis and road mapping. Acta Astronautica, 51(1), 3-21.
Mankins J.C. (2009) Technology readiness assessment: A retrospective. Acta Astronautica, 65(9-10), 1216-1223. https://doi.org/10.1016/j. actaastro.2009.03.058
NASA (2020) Systems Engineering Handbook, Washington, D.C.: NASA. https://www.nasa.gov/connect/ebooks/nasa-systems-engineering-handbook, дата обращения 15.07.2016.
OECD (2007) Science, Technology and Industry Scoreboard 2007, Paris: OECD.
Olechowski A., Eppinger D., Joglekar N. (2015) Technology Readiness Levels at 40: A study of state-of-the-art use challenges, and opportunities (MIT Sloan School Working Paper 5127-15), Cambridge, MA: MIT Sloan School of Management. https://dspace.mit.edu/bitstream/ handle/1721.1/96307/MITSloanWP5127-15_Eppinger_PICMET.pdf?sequence=1, дата обращения 20.03.2021.
Porter M. (2008) On Competition, Cambridge, MA: Harvard Business School Press.
Rocha D. (2016) An adaptation of the NBR ISO 16290:2015 Standard Applied in Aerospace Sector Projects (PhD Thesis in Space Systems, Testing and Launching), Sao José: Instituto Tecnológico de Aeronáutica (in Portuguese).
Rycroft R., Kash D. (2004) Emerging patters of complex technological innovation. Technological Forecasting and Social Change, 69, 581-606. http://dx.doi.org/10.1016/S0040-1625(01)00171-8
Salgado M. (2016) Study on critical space vehicle technologies applied to the Institute of Aeronautics and Space (PhD Thesis), Sao José: Instituto Tecnológico de Aeronáutica (in Portuguese).
Schumpeter J. (1934) The Theory of Economic Development, London: Transaction Publishers.
Sullivan M.J. (2007) GAO Review of Technology Transition Practices. Paper presented at the 4th Annual Acquisition Research Symposium, May 16, 2007. https://apps.dtic.mil/sti/pdfs/ADA493759.pdf, дата обращения 17.04.2021.
