CC BY
64экспертиза
А.В. ТУЛУПОВ,
Центр инновационного развития ОАО «РЖД» (Москва, Российская Федерация; e-mail: tulupovav@center.rzd.ru) И.П. ВАСИЛЬЕВ,
Центр инновационного развития ОАО «РЖД» (Москва, Российская Федерация; e-mail: vasilevip@center.rzd.ru)
И .А. ИОНОВ,
Центр инновационного развития ОАО «РЖД» (Москва, Российская Федерация; e-mail: ionovda@center.rzd.ru) Е.В. ПАЛАТКИНА,
Центр инновационного развития ОАО «РЖД» (Москва, Российская Федерация; e-mail: palatkinaev@center.rzd.ru)
А.Н. ПЕТРОВ,
ФГБНУ «Дирекция НТП» (Москва, Российская Федерация; e-mail: petrov@fcntp.ru) Е.В. ЧЕЧЕТКИН,
ФГБНУ «Дирекция НТП» (Москва, Российская Федерация; e-mail: echechetkin@fcntp.ru)
ИСПОЛЬЗОВАНИЕ МЕТРИК УРОВНЕЙ ГОТОВНОСТИ ПРИ ОЦЕНКЕ ЗРЕЛОСТИ ПРОДУКТА ИЛИ ТЕХНОЛОГИИ К ПРИМЕНЕНИЮ В ОАО «РЖД»
УДК: 338.2:001.89
https://doi.org/10.22394/2410-132X-2022-8-1-31-45
Аннотация: Статья посвящена методике оценки зрелости инновационного продукта (технологии) к внедрению на предприятиях ОАО «РЖД» и оценки рисков недостижения уровня готовности инновационных проектов. Отмечены основные принципы, сфера применения и результаты использования методики. Методика разработана в интересах ОАО «РЖД» на основе методологии комплексной оценки уровня технологической готовности проекта TPRL с усовершенствованием порядка и правил выполнения и математической модели оценки в соответствии с процессами управления в железнодорожной отрасли. Выполнена апробация применимости предложенных подходов на примерах перспективных инновационных предложений, поступивших в «Единое окно инноваций ОАО «РЖД».
Методика может быть использована: а) при оценке уровня освоения технологий в ОАО «РЖД» и сопоставлении уровня технологического развития холдинга «РЖД» с зарубежными компаниями-аналогами;
б) при принятии управленческого решения о финансировании проекта разработки или о закупке инновационного продукта и (или) технологии и внедрении в производственный процесс ОАО «РЖД»;
в) для построения и верификации дорожных карт по разработке и внедрению продукта (технологии);
г) при контроле выполнения проекта разработки и внедрения продукта (технологии) и др. Применение методики позволит повысить эффективность инновационной деятельности в ОАО «РЖД». Ключевые слова: уровень готовности, уровень технологической готовности проекта, ТРЯ1, методика, оценка зрелости, технология, продукт, риски.
Для цитирования: Тулупов А.В., Васильев И.П., Ионов Д.А., Палаткина Е.В., Петров А.Н., Чечеткин Е.В. Использование метрик уровней готовности при оценке зрелости продукта или технологии к применению в ОАО «РЖД». Экономика науки. 2022; 8(1):31-45. https://doi.org/10.22394/2410-132X-2022-8-1-31-45
© А.В. Тулупов, И.П. Васильев, И.А. Ионов, Е.В. Палаткина, А.Н. Петров, Е.В. Чечеткин, 2022 г.
ВВЕДЕНИЕ
В процессе развития любой технологической системы крупной транспортной компании ответственным руководителям необходимо периодически принимать решение о включении нового образца оборудования и (или) встраивании новой технологии, опираясь на оценку зрелости нововведения, получаемых преимуществ и рисков для функционирования всей целевой системы. Также в целях дальнейшего развития транспортной компании необходимо оценивать зрелость перспективных предложений, сформированных сектором исследований и разработок отрасли или поступающих от внешних компаний-инноваторов.
Для оценки зрелости технологии в мировой практике наиболее часто используется шкала уровней готовности TRL (Technology Readiness Level). Впервые шкала TRL была представлена в конце 80-х гг. прошлого столетия Национальным аэрокосмическим агентством США NASA [1], широко известным стало описание шкалы 1995 г. [2]. Использование шкалы TRL оказалось успешным благодаря таким преимуществам, как универсальность и наглядность, легкость восприятия информации о развитии технологии от научной идеи до практического применения. Счетная палата США (The US Government Accountability Office, GAO) с начала 2000-х годов исследовала возможности анализа с помощью шкалы TRL результатов заказных разработок и коммерческих продуктов для системы закупок федерального правительства США. Результатом исследования стала методология оценки готовности технологии TRA (Technology Readiness Assessment) [3], ставшая стандартом де-факто оценки зрелости технологий и продуктов, готовности к интеграции в целевые системы государственного заказчика в США, а также была поддержана и Европе [4].
В настоящее время за рубежом [5] и в России [6-8] действует ряд нормативных документов по оценке зрелости технологии с применением шкалы уровней готовности. Процесс оценивания зрелости построен на представлении доказательств выполнения набора требований, предъявляемых к оцениваемому объекту
на определенном уровне шкалы, например, шкалы TRL, что соответствует определению оценки соответствия в ГОСТ ISO/IEC17000-2012 [9]. В общем случае демонстрация соответствия может проводиться с разной степенью достоверности с учетом прямых и косвенных доказательств как компромисс между потребностью в точности оценки, требуемыми для этого ресурсами и текущими возможностями выполнения оценки.
Вторая по распространенности метрика -шкала уровней готовности производства MRL (Manufacturing Readiness Level). Метрики TRL и MRL включены в основные зарубежные методологии ([3, 10]) и российские нормативные документы [8].
Для сравнения уровней инновационного и технологического развития ОАО «РЖД» с зарубежными железнодорожными предприятиями-аналогами в соответствии с методическими рекомендациями Минэкономразвития России [11] также нужно применять основную метрику TRL и дополнительную метрику MRL.
В общем случае практическое применение, например на предприятиях железнодорожной отрасли, инновационной технологии и (или) разработанного на ее основе продукта предполагает встраивание нововведения в систему более высокого уровня - целевую систему -для выполнения задач с заданными характеристиками функциональности, производительности и стоимости. Объектом оценивания может быть вновь разрабатываемая или улучшаемая технология (продукт на ее основе) или же известная, зарекомендовавшая себя технология (продукт), которую предполагается использовать в новых условиях. Для оценки зрелости объекта необходимо учитывать ряд технических, экономических, коммерческих и организационных характеристик, которые выходят за рамки шкал TRL и MRL. Поэтому в Центре инновационного развития - филиале ОАО «РЖД» (Центр инновационного развития) и ФГБНУ «Дирекция НТП» для применения в разрабатываемой методике были рассмотрены известные подходы к созданию комплексной системы оценки зрелости технологии (продукта) к применению в целевой системе, включающие не только шкалы TRL и MRL.
В зависимости от постановки задачи заказчиком, например, используются шкалы уровней:
- инженерной готовности ERL (Engineering Readiness Level);
- готовности производства IRL (Integration Readiness Level);
- организационной готовности ORL (Organization Readiness Level);
- коммерческой готовности CRL (Commercial Readiness Level);
- готовности системы SRL (System Readiness Level) и другие, всего десятки частных метрик (см., например, [12]).
В качестве примера применения набора метрик готовности зарубежными железнодорожными компаниями можно отметить подход владельца и оператора железнодорожной инфраструктуры Network Rail, Великобритания [13-14]. Компания Network Rail в 2016-2020 гг. разработала комплексный индекс готовности Rail Industry Readiness Level (RIRL) для оценки зрелости и принятия решения о закупке и применении перспективной инновационной продукции в собственных технологических системах. Каждому индексу RIRL (шкала уровней от 1 до 9) в соответствии ставится достижение определенных уровней готовности TRL, MRL, IRL, SRL и др., а также достижение определенных уровней готовности спроса (потребности) Demand Readiness Level (DRL) и надежности Reliability Readiness Level (RRL).
Модель, предложенная компанией Network Rail своим поставщикам инновационной продукции, сложна в представлении информации и трудоемка в оценивании. Однако сам комплексный подход является целесообразным и перспективным для развития методологии оценки зрелости технологий и продуктов.
ОСНОВНЫЕ ПРИНЦИПЫ ОЦЕНКИ УРОВНЯ ЗРЕЛОСТИ ПРОДУКТА В ОАО «РЖД»
В 2021 г. при участии авторов была разработана и утверждена руководством ОАО «РЖД» методика оценки зрелости инновационного продукта (технологии) к внедрению на предприятиях холдинга «РЖД» и рисков недостижения уровня готовности инновационных
проектов (далее - методика). Документ был разработан на основе методологии комплексной оценки уровня технологической готовности проекта TPRL (Technology Project Readiness Level, [15-17]) с усовершенствованием порядка выполнения и математической модели оценки в соответствии с процессами управления в ОАО «РЖД». В частности, оценка зрелости технологии или продукта выполняется с применением следующих унифицированных параметров, характеризующих развитие и сбалансированность инновационного проекта: технологической (TRL), производственной (MRL), инженерной (ERL), организационной (ORL) и рыночной (CRL) готовности. Отдельно, на основе рассчитанных численных значений параметров готовности, оцениваются риски недостижения следующего уровня готовности.
Методика разработана в целях установления унифицированного подхода и единых правил определения и оценки уровней готовности технологии и (или) продукта1 - результатов выполненного в интересах ОАО «РЖД» инновационного (научно-технического) проекта. Оценка зрелости продукта - это основанный на фактах и соответствующей доказательной документации систематизированный процесс, позволяющий определить готовность результатов проекта для практического применения.
Для успешного внедрения важно, чтобы развитие результата проекта разработки было сбалансированным. Методика выявляет игнорирование исполнителями проекта какого-то из параметров готовности, что может привести к риску недостижения ожидаемых характеристик и возможной неудачи в практическом применении, коммерциализации продукта.
Предполагается использование методики в филиалах и структурных подразделениях ОАО «РЖД» с целью повышения эффективности инновационной деятельности в российской железнодорожной отрасли.
1. Проект как комплекс задач
В методике инновационный проект на всем протяжении жизненного цикла рассматривается
1 Далее для сокращения будем говорить об оценке зрелости продукта или результатов проекта разработки продукта.
как комплекс мероприятий - последовательность выполняемых работ, направленных на разработку, подготовку производства, вывод на рынок, включение в технологический процесс заказчика и т. д. нового либо улучшенного продукта. Пример укрупненного описания выполненных работ на уровнях готовности по параметру приведен в таблице 1.
По каждому параметру проекта на отдельном уровне готовности укрупненное описание выполняемых работ декомпозируется на список отдельных задач, сформированных на основе требований национальных и отраслевых стандартов по разработке и промышленному производству продукции с помощью определенных показателей. В частности, для параметра С1?1_ определены следующие показатели:
- потребители (для каждого способа потребления);
- анализ рынка в натуральном и денежном выражении;
- тенденции спроса и предложения;
- продукты-аналоги;
- бизнес-модель;
- обратная связь с потребителями;
- план использования финансовых средств;
- модель ценообразования и др.
Один уровень по какой-то из шкал готовности может включать разное количество задач. Состав показателей параметров и список задач являются открытыми и могут быть уточнены
заказчиком на основе определенных атрибутов инновационного проекта, сгруппированных следующим образом:
- общая информация о проекте;
- общие сведения о продукте/технологии, создаваемом в проекте;
- сведения об аналогах;
- подготовка производства для выпуска технологии или продуктов на ее основе;
- рыночные и маркетинговые исследования;
- сведения о патентном и информационном поиске;
- управление проектом;
- ключевые участники проектной команды исполнителя;
- сведения о партнерах и др.
Примеры атрибутов группы «Общие сведения о продукте, создаваемом в проекте»:
- назначение продукта;
- описание технологии;
- ключевые свойства технологии;
- область использования и эффекты применения технологии;
- критические компоненты продукта;
- новизна продукта;
- продукция;
- эксплуатационные характеристики продукта;
- специфика/ограничения применения технологии;
- предполагаемые потребители и др .
Таблица 1
Уровни готовности результатов проектов для параметра СР1.
Уровень готовности Укрупненное описание выполненных работ
1 Определены потенциальные потребители продукта. Оценен общий потенциал рынка
2 Уточнен целевой рынок, определен его общий объем и сегментирован по способам потребления. Получены предварительные оценки полной стоимости владения создаваемым продуктом
3 Выявлены предпочтения возможных потребителей в отношении ключевых характеристик, в том числе срока появления и цены продукта
4 Определены конкуренты, конкурентные преимущества. Уточнен доступный объем рынка
5 Разработана бизнес-модель. Определена конкурентоспособная цена. Показана положительная маржинальность коммерциализации создаваемого продукта
6 Уточнена бизнес-модель и оценки прибыльности от коммерциализации создаваемого продукта
7 Уточнен и сегментирован реально достижимый целевой рынок, определен его общий объем
8 Осуществлены первые продажи - предварительный вывод продукта на рынок
9 Осуществлен вывод созданного продукта на рынок
Также уникальность отдельного проекта может быть отражена в весовых характеристиках значимости каждой задачи.
2. Исходные данные для выполнения оценки
Исходными данными для выполнения оценки уровня зрелости инновационного продукта являются установленные проектные документы и формы сбора информации о проекте, фиксирующие полученные результаты (документация, образцы, готовый продукт) в соответствии с требованиями нормативно-распорядительных документов ОАО «РЖД». В документах и формах для описания каждого результата используются установленные атрибуты.
В качестве примера, комплект документов для рассмотрения предложения о предлагаемом к реализации инновационном проекте должен содержать:
- заполненный паспорт инновационного предложения в соответствии с установленным порядком;
- документы, обосновывающие технико-экономическую эффективность инновационного предложения;
- документы, подтверждающие права на содержащиеся в инновационном предложении результаты интеллектуальной деятельности (в случае наличия таковых).
3. Порядок и правила выполнения оценки уровня зрелости и применяемая математическая модель
Оценку уровня зрелости инновационного продукта выполняет назначенный ответственный специалист - сотрудник подразделения ОАО «РЖД», который обладает практическим опытом
коммерциализации инновационных продуктов в предметной области проекта.
В качестве примера использования методики в Центре инновационного развития: менеджер проектов выполняет с помощью заложенных в методике подходов оперативную оценку зрелости стартап-проектов, поступающих в «Единое окно инноваций» [18].
Порядок выполнения оценки уровня зрелости - шаги и краткое описание действий -приведен в таблице 2.
Каждая задача, решаемая на различных уровнях готовности любого из параметров, может иметь статусы «решена», «не решена» или «не применима», если решение данной задачи для оцениваемого проекта не требуется.
Выполнение некоторой задачи приводит к уточнению описания результата в документах и формах проекта, что, в свою очередь, отражается на повышении численного значения готовности по определенному параметру.
Определенный уровень готовности результата проекта по заданному параметру проекта считается достигнутым, когда все отнесенные задачи имеют статусы «решена» или «не применима».
Для оценки зрелости инновационного продукта важен факт выполнения задач, а не хронология их выполнения.
Расчет численного значения готовности по шкалам TRL, MRL, ERL, ORL, CRL выполняется с учетом следующих допущений:
- целочисленное значение оцениваемого уровня готовности, равное L, означает, что все задачи на уровнях от 0 до L-1 включительно ([1; L-1]) имеют статусы «решена» или «не применима»;
- численное (в общем случае - дробное) значение готовности будет равно
Описание действия
1 Сбор проектных документов и форм сбора информации, систематизация информации о результатах проекта
2 Верификация и подтверждение выполнения требуемых задач в соответствии с внутренним регламентом филиала или структурного подразделения ОАО «РЖД»
3 Расчет уровня зрелости инновационного продукта к внедрению в ОАО «РЖД»
Таблица 2
Порядок выполнения оценки уровня зрелости
номеру предыдущего уровня (1-1) плюс дробная оценка доли выполненных задач на уровне I с учетом веса задач. Например, если, для упрощения, веса задач равны, то расчет численного значения представлен в формуле 1.
/V
Ш = I-1 +
(К-М)
(1),
где:
- численное значение готовности по одной из шкал, например , целая часть 1^1. дает значение уровня готовности результата по данному параметру проекта;
I - номер уровня готовности оцениваемого параметра проекта;
N - количество выполненных задач оцениваемого уровня готовности параметра проекта;
К - общее количество задач, которые должны быть выполнены на оцениваемом уровне готовности параметра проекта;
М - количество задач на оцениваемом уровне со статусом «не применима».
Численное (в общем случае - дробное) значение зрелости инновационного продукта к внедрению в ОАО «РЖД» рассчитывается как среднее арифметическое по значениям готовности параметров проекта - 1^МК1_, К1-ЕК1, 1?1_ои/ 1?1_СК1_, но с предусмотренным методикой существенным уточнением результата расчета в случае несбалансированного развития проекта. Описание уровней зрелости инновационного
продукта к внедрению в ОАО «РЖД» (шкала уровней зрелости) представлено в таблице 3.
4. Контрольные точки проекта
Оценка зрелости продукта с применением шкал уровней готовности выполняется в контрольных точках двух типов:
- в ключевые контрольные точки проекта - для принятия управленческих решений о дальнейшей судьбе всего проекта и результатов проекта;
- в промежуточные контрольные точки проекта - для определения динамики развития проекта и результатов проекта в течение жизненного цикла.
Состав и периодичность ключевых и промежуточных контрольных точек проекта фиксируется в плане-графике выполнения работ в составе договора, соглашения о намерениях или ином двустороннем документе между заказчиком и исполнителем.
В числе ключевых контрольных точек проекта можно выделить следующие:
1) заказчик принимает решение о поддержке научно-технического проекта, например, в качестве индустриального партнера через софинансирование прикладного научного исследования и экспериментальной разработки;
2) заказчик принимает решение о финансировании инновационного проекта разработки продукта для встраивания в целевую систему;
Таблица 3
Шкала уровней зрелости инновационного продукта для внедрения в ОАО «РЖД»
Уровень зрелости Описание уровня зрелости
1 Выявлены и опубликованы фундаментальные принципы
2 Сформулированы технологическая концепция и (или) применение возможных концепций для перспек-
тивных продуктов
3 Даны аналитические и экспериментальные подтверждения по важнейшим функциональным возможно-
стям и (или) характеристикам выбранной концепции для создания продукта
4 Компоненты и (или) макеты проверены в лабораторных условиях
5 Компоненты и (или) макеты подсистем продукта испытаны в условиях, близких к реальным
6 Модель или прототип продукта и его элементов продемонстрированы в условиях, близких к реальным
7 Прототип продукта прошел демонстрацию в эксплуатационных условиях
8 Продукт создан как штатная система, которая освидетельствована (квалифицирована) посредством
испытаний и демонстраций
9 Продемонстрирована работа продукта в условиях реальной эксплуатации
3) заказчик принимает решение о вводе в эксплуатацию разработанного инновационного продукта.
5. Принципы оценки рисков на основе шкал готовности
В рамках известных методологий (например, GAO TRA [3]) нет готового инструмента, который бы давал возможность численного измерения рисков реализации и финансирования инновационных проектов через уровни готовности. Также на сегодняшний день не существует общепринятых методик оценки бюджета, продолжительности плана-графика реализации конкретного инновационного проекта или расчета математической вероятности достижения ожидаемой функциональности и производительности в рамках запланированного бюджета и плана-графика выполнения работ. Как правило, органы управления инновационных программ (НИОКР) делают такие оценки на основе собственного опыта сопровождения проектов и базы данных о выполненных проектах.
В методике ОАО «РЖД» рассматриваются риски недостижения заданного уровня готовности по параметрам проекта. Чем больше выполнено задач по определенному параметру проекта (TRL, MRL, ERL, ORL и CRL), тем ниже мера неопределенности характеристик результата и тем меньше вероятность реализации риска недостижения заданного уровня готовности.
В ОАО «РЖД» процесс управления рисками недостижения заданного уровня готовности для результатов инновационного проекта осуществляется согласно внутренним нормативно-методическим документам в области управления рисками и внутреннего контроля. Риски недостижения заданного уровня готовности могут выявляться и оцениваться до начала реализации задач, присущих соответствующему уровню готовности.
Периодический мониторинг рисков недостижения уровня готовности рекомендуется осуществлять ежеквартально либо по достижении контрольных точек инновационного проекта, он включает актуализацию описания, оценок рисков, мероприятий по воздействию на риски. Оценка выявленных рисков может использоваться для принятия управленческих решений
в ключевых контрольных точках проекта, а также в промежуточных контрольных точках - для мониторинга развития результатов, снижения выявленных рисков инновационного проекта.
Оценка риска недостижения следующего уровня готовности L по любому параметру вычисляется как произведение значения вероятности реализации риска недостижения уровня L на численное значение уровня влияния риска недостижения уровня готовности L по этому параметру готовности. Численное значение (от 0 до 1 включительно) оценки риска недостижения следующего уровня готовности L по каждому параметру рассчитывается через долю невыполненных задач на уровне L с учетом веса и прогноза своевременного исполнения каждой требуемой еще невыполненной задачи. Численное значение прогноза своевременного выполнения задачи (от 0 до 1 включительно) устанавливается на основе доступных статистических данных по аналогичным проектам разработки и внедрения инновационных продуктов.
Таким образом, для построения достоверной модели оценки рисков недостижения следующего уровня готовности по любому параметру необходимы накопление технических данных о завершенных и выполняемых проектах и система классификации проектов-аналогов для компромисса между точностью и затратами на детализацию учета проектных особенностей.
ПРОГРАММНЫЙ ИНСТРУМЕНТ РАСЧЕТА УРОВНЯ ЗРЕЛОСТИ ПРОДУКТА
Для автоматизации предусмотренных методикой расчетных процедур и, таким образом, упрощения процесса выполнения оценки уровня зрелости продукта разработано и используется программное приложение-калькулятор TPRL Calculator. Калькулятор разработан на языке Python версии 3. Системные требования приложения: операционная система Microsoft Windows 7 и выше, объем оперативной памяти от 2 Гбайт, объем пространства на жестком диске - не менее 185 Мбайт.
Примеры интерфейсов и краткие комментарии по работе приложения TPRL Calculator приведены ниже (рисунки 1—3 и 5).
Рисунок 1. Начало работы с новым проектом
Приложение ТР^ Са!си!а1ог позволяет:
- зарегистрировать нового пользователя;
- авторизовать пользователя;
- ввести новый проект для выполнения расчета уровня зрелости продукта (вкладка «Новый»);
- сохранять данные незавершенных расчетов по проектам в информационной базе приложения с возможностью возвращаться к работе с любым незавершенным расчетом (вкладка «Черновики»);
- сохранять информацию о проектах и результаты завершенных расчетов в информационной базе приложения (вкладка «Завершенные»).
Вкладка «Калькулятор» позволяет выбрать шкалы (параметры) для дальнейшей оценки проекта и загрузить задачи по выбранным шкалам (кнопка «Установить параметры»). В соответствии с методикой каждой задаче можно присвоить статус «Решена» («Да»), «Не решена» («Нет») или «Не применимо».
Выставленные статусы всех задач можно сбросить нажатием кнопки «Сбросить задачи».
Для расчета значений готовности по выбранным шкалам (параметрам) необходимо
нажать кнопку «Рассчитать», после чего откроется вкладка «Оценка зрелости», а также станет активной вкладка «Оценка рисков».
Во вкладке «Оценка зрелости» пользователь может ознакомиться с полученными результатами по отдельным выбранным параметрам и по комплексной оценке зрелости проекта ТР1?1_. На рисунке 3 представлен результат двух вариантов расчета комплексной оценки зрелости проекта:
- ТР^ау - рассчитанное значение в соответствии с методикой; в данном случае проект развивается сбалансированно, значение комплексной оценки равно среднему арифметическому оценки готовности по всем параметрам;
- ТР^тт - целое значение, определяющее реально достигнутый уровень зрелости проекта.
На данном этапе все вкладки приложения доступны пользователю. Например, можно изменить статус отдельных задач на вкладке «Калькулятор» и, нажав кнопку «Рассчитать», получить новые значения в результатах.
Пользователь может сохранить проект и отметки задач по выбранным параметрам, не отмечая «как черновик» - тогда проект попадет
экспертиза
Рисунок 2. Вкладка «Калькулятор»
Рисунок 3. Вкладка «Оценка зрелости»
во вкладку «Завершенные». В случае, когда пользователь устанавливает отметку «как черновик», проект попадет во вкладку «Черновики». При нажатии на кнопку «Создать заключение» появится заполненная форма экспертного заключения, на которую будет перенесена вся ключевая информация выполненного расчета; экспертное заключение можно распечатать. Кроме того, экспертное заключение автоматически сохраняется в виде файла формата Adobe Systems PDF (Portable Document Format), см. рисунок 4, в заданной папке на персональном компьютере пользователя.
Во вкладке «Оценка рисков» отображаются результаты, полученные при оценке рисков недостижения заданного уровня готовности (рисунок 5).
При нажатии на кнопку «Создать заключение» на экране пользователя появится заполненная форма экспертного заключения по оценке рисков, которую можно отправить
на печать. Кроме того, экспертное заключение автоматически сохраняется в виде файла формата Adobe Systems PDF (см. рисунок 6) в заданной папке.
При необходимости адаптации калькулятора TPRL Calculator под конкретный инновационный проект в расчете оценки зрелости и рисков требуется уточнить состав задач, соответствующих уровням готовности по всем параметрам, и установить веса для каждой из задач.
Приложение TPRL Calculator - это первая простая модель перспективной информационной системы оценки зрелости инновационного продукта к внедрению в ОАО «РЖД» и рисков недостижения уровня готовности инновационных проектов.
Апробация методики и приложения TPRL Calculator была выполнена на примерах перспективных инновационных предложений, поступивших в «Единое окно инноваций ОАО «РЖД» [18].
Экспертное заключение Л*_
по опенке информации о результатах проекта для различных параметров
1. Дата проведения экспертного оценнзанил:
1. Идентификацноянвш номер проекта:
3. ФИО эксперта:
4. Тнп параметра:
Сб. 04.2022 16:14 2019-РЖЗ-01-2S75 Чечеткнн Едгеннй Владимиров; TRL- MRL ERL.. ORL CRL
Уровень 3. Даны аналнтачесЕве н ЭЕСпгадмезтальные подтверждения по вазснешпнм ¿ушщновальньаг ДИТИ тярдгх^р2С1'г1УЯу Ё^рЙВНОЭ SQBTifm ir'H ДЛЯ СОЗД3^1'* ЙрОДМГГ^'ТСХ^ОЛСГ ^
TSL
0RI
ERL
5. Статус гьаюлзеанз сцепетземого уров&я в его подуровней Устаяов^етпг^-тт уровень готрЕЕОсгг параметра TRL - 4.0
Уровень Нлш IP СО СП СПС- злллчп CTTFVC
Уювеяь 4 ГХалутез дарордгррныж оорззеа. иолгитозлев лзборзтора&зг асал. срозедсгъ; есэгтзнв.
х си.стг < друппя м^кезтахг tKcttacw
№1 Лгборзгорз^й о<»рз«=гМса€зсь язготоэлеа(з), ten. мст ириеэазг sc zezytsa ert>*« т. Д1
№2 Tn?trt.*tw ЮД&Д. WW'- -' I.M" S Пft?T .1 -.т-ргу сомпонезтоз, пря*^"- tl д>
№3 Рёзугьгзсъ: тесгароьзвгг xoztcs s pa- даряваам =эгэжетрсз сотжвгтвуэеп Д1
Рисунок 4. Вкладка «Оценка зрелости». Формат экспертного заключения
ТРШСакиЫаг 1 = 1 1.
—^ Расчёт оценки зрелости инновационного продукта/технологии к внедрению в ■ 4/С1 ОАО «РЖД» и рисков недостижения уровня готовности инновационных проектов в ОАО «РЖД» с их применением через соответствующие уровни готовности
| Новый | Черновики | Завершенные [ Калькулятор | Оценка зрелости | Оценка рисков МИ
Номер проекта: 2019-РЖД-01-2875 Эксперт: Чечеткин Евгений Владимирович
|| тк!_ | мш. еиь | ой. | сш_ |
Уровень 4. Решен вопрос по недостающим мощностям, условиям поставок
Задача Прогноз своевременного исполнения задачи Вероятность -— реализации риска, %
Проверено наличие базовых средств производства у производителя/субподрядчика. Решение вопроса по недостающим мощностям. 1
Определены поставщики и условия поставки. 1
Проведен анализ вариантов получения в распоряжение средств производства. 0,93 19.6%
Технологический процесса производства предварительно согласован с Владельцем продукта [Заказчиком]. 0,96 7 -
Определены сроки готовности мелкосерийного производства. 0,90 *
11 Итоговая оценка риска недостижения уровня готовности 4 по параметру МР\1_: 0.12
Рисунок 5. Вкладка «Оценка рисков»
Экспертное заключение Л2_
по оценке рисков недостижения уровня готовности инновационных проектов в ОАО «РЖД» с пх применением через соответствующие уровни готовности
1. Дата проведения экспертного оценивания:
2. Идентификационный номер проекта:
3. ФИО эксперта:
4. Тип параметра:
06.04.2022 16:3?
2019-РЖД-01-2875
Нечеткин Евгений Владимирович
ты., ми., еы.. ом:, сы.
5. Оценка рисков недостижения уровней готовности по параметрам:
Итоговая оценка риска недостижения уровня готовности 5 по параметру ТКЬ: 0.29 Уровень 5. По полупромышленной технологии изготовлен п испытан экспериментальный образен в реаль»
Задача Прогноз своевременного исполнения задачи Вероятность реализации риска. %
Изготовлен экспериментальный образец в масштабе близком к реальному по полупромышленной технологии. 0,96 29.1%
Основные компоненты разрабатываемой технологии продукта интегрированы между собой. 0.96
Изготовлен испытательный стенд для проведения испытания расширенного набора функций. 0.96
Программа и методика испытаний ЩМИ) расширенного набора функшш 0.99
Рисунок 6. Вкладка «Оценка рисков». Формат экспертного заключения
ЗАКЛЮЧЕНИЕ
В ОАО «РЖД» с 2021 г. используется методика оценки зрелости инновационного продукта к внедрению в производственные процессы железнодорожной отрасли и рисков недостижения уровня готовности инновационных проектов, разработанная на основе принципов сбалансированной комплексной оценки проекта с обоснованным и неизбыточным набором шкал готовности - параметров. Оценка уровней готовности результатов инновационных проектов по каждому из параметров осуществляется на основе проектной документации.
В системе управления инновационной деятельностью и научно-технологическим развитием ОАО «РЖД» методика используется для сопоставления уровня технологического развития и значений ключевых показателей эффективности предприятий российской железнодорожной отрасли с показателями ведущих компаний-аналогов в соответствии с методическими рекомендациями Минэкономразвития
России [11]. На основе такого сравнения выполняется подготовка предложений и обоснований по ключевым направлениям инновационного развития в рамках комплексной программы инновационного развития холдинга «РЖД» (среднесрочного плана ее реализации) и долгосрочной программы развития, исходя из принципа максимально возможного сокращения отставания от компаний-аналогов либо их опережения.
Кроме того, требования по оценке уровней готовности включены в такие процедуры технологического развития холдинга «РЖД», как отбор инновационных проектов в программу поддержки инноваций, пополнение реестра инновационной и (или) высокотехнологичной продукции, формирование портфеля сквозных (цифровых) технологий.
Минэкономразвития России и Минтранс России верифицировали разработанную методику и рекомендовали к внедрению в практику работы ОАО «РЖД».
ЛИТЕРАТУРА
1. Sadin S.R, Povinelli F.Р, Rosen R. (1989) The NASA technology push towards future space mission systems // Acta Astronautica. 1989; 20:3-77.
2. Mankins J.C. (1995) Technology readiness levels / Advanced Concepts Office of Space Access and 1995. http://www.artemisinnovation.com/images/ TRL_White_Paper_2004-Edited.pdf.
3. Technology Readiness Assessment Guide. Best Practices for Evaluating the Readiness of Technology for Use in Acquisition Programs and Projects (GAO-20-48G) (2020) / U.S. Government Accountability Office, 07.01.2020.
4. Technology Readiness Level: Guidance Principles for Renewable Energy technologies. Final Report (2017) / European Commission. EUR27988 EN. November 2017.
5. ISO 16290:2013 (2013) Space systems - Definition of the Technology Readiness Levels (TRLs) and their criteria of assessment.
6. ГОСТ Р 56861-2016. Система управления жизненным циклом. Разработка концепции изделия и технологий. Общие положения (2016) / Техэкс-перт. https://docs.cntd.ru/document/1200132491.
7. ГОСТ Р 57194.1-2016. Трансфер технологий. Общие положения (2016) / Техэксперт. https:// docs.cntd.ru/document/1200141164.
8. ГОСТ Р 58048-2017. Трансфер технологий. Методические указания по оценке уровня зрелости
технологий (2017) / Техэксперт. https://docs.cntd. ru/document/1200158331.
9. ГОСТ ISO/IEC17000-2012 Оценка соответствия. Словарь и общие принципы (2012) / Техэксперт. https://docs.cntd.ru/document/1200100949.
10. Manufacturing Readiness Level (MRL) Deskbook (2011) / U.S. Department of Defense. https://www. dodmrl.com/.
11. Методические рекомендации по сопоставлению уровня технологического развития и значений ключевых показателей эффективности акционерных обществ с государственным участием, государственных корпораций, государственных компаний и федеральных государственных унитарных предприятий с уровнем развития и показателями ведущих компаний-аналогов (2017) / Минэкономразвития России.
12. Nolte W, Kruse R. (2011) Readiness Level Proliferation / AFRL. https://ndiastorage.blob.core. usgovcloudapi.net/ndia/2011/system/13132_ NolteWednesday.pdf.
13. Rail Industry Readiness Levels (RIRLs) defined and explained (2019) / Rail Engineer, 09.02.2019. https://www.railengineer.co.uk/rail-industry-readi-ness-levels-rirls-defined-and-explained.
14. Product Acceptance Service. Guidance Note (2020) / Network Rail Limited, The Rail Industry Readiness Level. https://www.networkrail.co.uk/
wp-content/uploads/2020/10/Product-Accep-tance-Service-Technical-Services-Guidance-Note-v4.2-0ct-2020.pdf.
15. Петров А.Н., Сартори А. В., Филимонов А. В. (2016) Комплексная оценка состояния научно-технических проектов через уровень готовности технологий // Экономика науки. 2016; 2(4): 244-260.
16. Комаров A.B., Петров А.Н., Сартори A.B. (2018) Модель комплексной оценки технологической
готовности инновационных научно-технологических проектов // Экономика науки. 2018; 4(1): 47-57.
17. Петров А.Н., Комаров А.В. (2020) Оценка уровня технологической готовности конкурсных заявок с использованием методологии ТРР1_ // Экономика науки. 2020; 6(1-2): 88-99.
18.Единое окно инноваций для приема инновационных перспективных предложений, которые могут быть применены в интересах ОАО «РЖД» (2022) / РЖД. https://eoi.rzd.ru/front.
Информация об авторах
Тулупов Андрей Викторович - заместитель начальника, Центр инновационного развития ОАО «РЖД»
(Российская Федерация, 107078, г. Москва, ул. Каланчевская, 15; e-mail: tulupovav@center.rzd.ru).
Васильев Иван Павлович - ведущий эксперт, Центр инновационного развития ОАО «РЖД»
(Российская Федерация, 107078, г. Москва, ул. Каланчевская, 15; e-mail: vasilevip@center.rzd.ru).
Ионов Денис Александрович - кандидат технических наук, заместитель начальника отдела, Центр инновационного
развития ОАО «РЖД» (Российская Федерация, 107078, г. Москва, ул. Каланчевская, 15; e-mail: ionovda@center.rzd.ru).
Палаткина Елена Викторовна - начальник отдела, Центр инновационного развития ОАО «РЖД»
(Российская Федерация, 107078, г. Москва, ул. Каланчевская, 15; e-mail: palatkinaev@center.rzd.ru).
Петров Андрей Николаевич - кандидат химических наук, руководитель отдела аналитических исследований,
Федеральное государственное бюджетное научное учреждение «Дирекция научно-технических программ»;
Scopus Author ID: 7401780289, ORCID: 0000-0002-2719-9596 (Российская Федерация, 123557, г. Москва,
ул. Пресненский Вал, д. 19, стр. 1; e-mail: petrov@fcntp.ru).
Чечеткин Евгений Владимирович - главный специалист отдела статистики, оценки и прогноза, Федеральное государственное бюджетное научное учреждение «Дирекция научно-технических программ»; Scopus Author ID: 57209973765, ORCID: 0000-0003-0862-8030 (Российская Федерация, 123557, г. Москва, ул. Пресненский Вал, д. 19, стр. 1; e-mail: echechetkin@fcntp.ru).
A.V. TULUPOV,
Center of Innovative Development JSCo "RZD" (Moscow, Russian Federation; e-mail: tulupovav@center.rzd.ru) I.P. VASILIEV,
Center of Innovative Development JSCo "RZD" (Moscow, Russian Federation; e-mail: vasilevip@center.rzd.ru)
D.A. IONOV,
Center of Innovative Development JSCo "RZD" (Moscow, Russian Federation; e-mail: ionovda@center.rzd.ru)
E.V.PALATKINA,
Center of Innovative Development JSCo "RZD" (Moscow, Russian Federation; e-mail: palatkinaev@center.rzd.ru) A.N. PETROV,
SSTP Directorate (Moscow, Russian Federation; E.V. CHECHETKIN,
SSTP Directorate (Moscow, Russian Federation;
e-mail: petrov@fcntp.ru) e-mail: echechetkin@fcntp.ru)
USING METRICS OF READINESS LEVELS
IN MATURITY ASSESSMENT OF A PRODUCT
OR TECHNOLOGY FOR APPLICATION IN JSCO "RZD"
UDC: 338.2:001.89
https://doi.org/10.22394/2410-132X-2022-8-1-31-45
Abstract: The article is devoted to the methods for maturity assessment of an innovative product or technology for implementation at the enterprises of JSCo "RZD" and assessing the risks of not achieving the readiness level of innovative projects. The main principles, scope and effects of using methods are noted.
The method was developed for JSCo "RZD" and based on the TPRL methodology for a complex assessment of the technological project readiness level with the improvement of the procedure, rules and the mathematical model of assessment in accordance with the management processes in the railway industry. Approbation of the proposed assessment methods was carried out on the examples of promising innovative proposals received by the "SingleWindow of Innovations of JSCo "RZD".
The methods can be used for: a) assessing the level of technology development in JSCo "RZD" and comparing the level of technological development of the Russian Railways holding with foreign analogue companies; b) making a management decision on financing a development project, or on purchasing an innovative product and (or) technology and introducing it into the production process of JSCo "RZD"; c) building and verifying a product (technology) development and implementation roadmaps; d) monitoring the implementation of a project for the development and implementation of a product (technology), etc.
The application of the methods will improve the efficiency of innovation activities in JSCo "RZD". Keywords: readiness level, technology project readiness level, TPRL, methods, maturity assessment, technology, product, risks
For citation: Tulupov A.V., Vasiliev I.P., Ionov D.A., Palatkina E.V., Petrov A.N., Chechetkin E.V. Using Metrics of Readiness Levels in Maturity Assessment of a Product or Technology for Application in JSCo "RZD". The Economics of Science. 2022; 8(1):31-45. https://doi. org/10.22394/2410-132X-2022-8-1-31-45
REFERENCES
1. Sadln S.R., Povlnelll F.P., Rosen R. (1989) The NASA technology push towards future space mission systems // Acta Astronautica. 1989; 20:3-77.
2. Mankins J.C. (1995) Technology readiness levels / Advanced Concepts Office of Space Access and 1995. http://www.artemisinnovation.com/images/ TRL_White_Paper_2004-Edited.pdf.
3. Technology Readiness Assessment Guide. Best Practices for Evaluating the Readiness of Technology for Use in Acquisition Programs and Projects (GA0-20-48G) (2020) / U.S. Government Accountability Office, 07.01.2020.
4. Technology Readiness Level: Guidance Principles for Renewable Energy technologies. Final Report (2017) / European Commission. EUR27988 EN. November 2017.
5. ISO 16290:2013 (2013) Space systems - Definition of the Technology Readiness Levels (TRLs) and their criteria of assessment.
6. GOST R56861-2016. Life cycle management system. Development of the product concept and technologies. General provisions (2016) / Tekhekspert. https:// docs.cntd.ru/document/1200132491. (In Russ.)
7. GOST R57194.1-2016. Technology transfer. General provisions (2016) / Tekhekspert. https://docs. cntd.ru/document/1200141164. (In Russ.)
8. GOST R58048-2017. Technology transfer. Guidelines for assessing the level of technology maturity (2017) / Tekhekspert. https://docs.cntd.ru/docu-ment/1200158331. (In Russ.)
9. GOST ISO/IEC17000-2012 Conformity assessment. Dictionary and general principles (2012) / Tekhekspert. https://docs.cntd.ru/document/1200100949. (In Russ.)
10. Manufacturing Readiness Level (MRL) Deskbook (2011) / U.S. Department of Defense. https://www. dodmrl.com/.
11. Guidelines for comparing the level of technological development and the values of key performance
indicators of joint-stock companies with state participation, state corporations, state-owned companies and federal state unitary enterprises with the level of development and indicators of leading peer companies (2017) / Ministry of Economic Development of Russia. ( In Russ.)
12. Nolte W, Kruse R. (2011) Readiness Level Proliferation / AFRL. https://ndiastorage.blob.core. usgovcloudapi.net/ndia/2011/system/13132_ NolteWednesday.pdf.
13. Rail Industry Readiness Levels (RIRLs) defined and explained (2019) / Rail Engineer, 09.02.2019. https://www.railengineer.co.uk/rail-industry-readi-ness-levels-rirls-defined-and-explained.
14. Product Acceptance Service. Guidance Note (2020) / Network Rail Limited, The Rail Industry Readiness Level. https://www.networkrail.co.uk/ wp-content/uploads/2020/10/Product-Accep-tance-Service-Technical-Services-Guidance-Note-v4.2-0ct-2020.pdf.
15. Petrov A.N., Sartory A.V., FHimonov A.V. (2016) Comprehensive assessment of the status scientific and technical projects using Technology Project Readiness Level // The Economics of Science. 2016; 2(4): 244-260. (In Russ.)
16. Komarov A.V., Petrov A.N., Sartory A.V. (2018) The model of integrated assessment of technological readiness of innovative scientific and technological projects // The Economics of Science. 2018; 4(1): 47-57. (In Russ.)
17. Petrov A.N., Komarov A.V. (2020) stimaton of technology readiness level of tender proposal in terms of methodology TPRL // The Economics of Science. 2020; 6(1-2): 88-99. (In Russ.)
18. Single window of innovations for receiving innovative promising proposals that can be applied in the interests of JSCo "RZD" (2022) / RZD. https://eoi. rzd.ru/front. (In Russ.)
Authors
Andrey V. Tuiupov — Deputy Head, Center of Innovative Development of JSCo «RZD» (Russian Federation, 107078, Moscow, Kalanchevskaya str., 15; e-mail: tulupovav@center.rzd.ru).
Ivan P. Vasiliev - Leading expert, Center of Innovative Development of JSCo «RZD» (Russian Federation, 107078, Moscow, Kalanchevskaya str., 15; e-mail: vasilevip@center.rzd.ru).
Denis A. lonov - Deputy Head of Division, Center of Innovative Development of JSCo «RZD» (Russian Federation, 107078, Moscow, Kalanchevskaya str., 15; e-mail: ionovda@center.rzd.ru).
Elena V. Palatkina — Head of Division, Center of Innovative Development JSCo "RZD" (Russian Federation, 107078, Moscow, Kalanchevskaya str., 15; e-mail: palatkinaev@center.rzd.ru).
Andrey N. Petrov - Head of Analytical Research Department, Directorate of State Scientific and Technical Programmes; Scopus Author ID: 7401780289, ORCID: 0000-0002-2719-9596 (Russian Federation, 123557, Moscow, Presnensky Val str., 19, bldg. 1; e-mail: petrov@fcntp.ru).
Еvgeniy V. Chechetkin — Chief Specialist of the Department of Statistics, Evaluation and Forecast, Directorate of State Scientific and Technical Programmes; Scopus Author ID: 57209973765, ORCID: 0000-0003-0862-8030 (Russian Federation, 123557, Moscow, Presnensky Val str., 19, bldg. 1; e-mail: echechetkin@fcntp.ru).
новости
ОБНОВЛЕНИЕ ПРИБОРНОЙ БАЗЫ НАУЧНО-ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ
Н
В
2022 г. 205 научных и образовательных организаций России получат гранты на обновление приборной базы на сумму 11,8 млрд руб. в рамках федерального проекта «Развитие инфраструктуры для научных исследований и подготовки кадров» национального проекта «Наука и университеты». Обязательным условием получения гранта является то, что не менее 15% всего приобретаемого оборудования должно быть российского производства. Всего за последние три года на обновление приборной базы правительством России направлено более 25 млрд руб. в 268 научно-образовательных организаций.
Всего на получение грантов в 2022 году было подано 209 заявок, включающих программу обновления приборной базы, а также обоснование по научно-лабораторным приборам или оборудованию. Размер гранта в каждом случае определялся исходя из ряда параметров: объема приборной базы, направления научной деятельности организации, ее результативности, техновооруженности, фондоотдачи и численности исследователей.
В число получателей грантов в этом году вошли: Физический институт им. Лебедева РАН, Московский государственный университет им. Ломоносова, Национальный исследовательский центр «Курчатовский институт», Физико-технический институт им. Иоффе РАН, Институт прикладной физики РАН и другие научно-исследовательские организации.
Физический институт им. Лебедева РАН (ФИАН) получит грант в размере 339,5 млн руб., он будет направлен на развитие многофункционального экспериментального комплекса Тянь-Шань-ской высокогорной станции ФИАН. Благодаря господдержке общее количество детекторов в составе системы достигнет 200, что позволит повысить точность проводимых исследований.
Томскому национальному исследовательскому медицинскому центру Российской академии наук (Томский НИМЦ) в 2022 г. на обновление приборной базы направят 203,7 млн руб. Эти средства позволят приобрести двадцать приборов для научных лабораторий и клиник, в том числе рентгеновский компьютерный томограф и ультразвуковую систему для малых лабораторных животных для доклинических исследований новых терапевтических молекул, сервер для биоинформатического анализа генетических данных, криохранилище и другие.
Источник: https://minobrnauki.gov.ru/press-center/news/? Е1.ЕМЕМТ_10=45794
