ПОВЫШЕНИЕ РЕЗУЛЬТАТИВНОСТИ ИССЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ ПО УРОВНЯМ ГОТОВНОСТИ В БЕРЕЖЛИВОМ НИОКР Текст научной статьи по специальности «Экономика и бизнес»

А. В. САРТОРИ,

АО «Прорыв» (Москва, Российская Федерация; е-таН: sartoriandrey@gmail.com)

ПОВЫШЕНИЕ РЕЗУЛЬТАТИВНОСТИ ИССЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ ПО УРОВНЯМ ГОТОВНОСТИ В БЕРЕЖЛИВОМ НИОКР

УДК 338.28

https://doi.org/10.22394/2410-132X-2022-8-l-4-21

Аннотация: Среди факторов, способствующих повышению результативности исследований и разработок, особое место занимает вопрос планирования работ по результатам, а также подбор критериев для мониторинга их результативности. Низкая результативность, отмечаемая на уровне государственных институтов, сдерживает инновационное развитие нашей страны. Первый принципиальный шаг в решении этой задачи -составление детальных технических заданий на основе эффективного планирования работ, сама возможность которого является острым дискуссионным вопросом в научно-техническом сообществе. Проанализирована и показана прямая связь планирования результатов и объективного мониторинга хода выполнения работ, которые совокупно приводят к повышению результативности, возможности перераспределения бюджета в пользу высокоэффективных инновационных разработок. На основе подхода бережливого НИОКР и адаптированных уровней готовности показаны как сама возможность, так и практические пошаговые рекомендации по планированию и оперативному мониторингу результатов. Рекомендации рассмотрены на примере формулировки критериев необходимости и достаточности испытаний экспериментальных образцов как важнейшего элемента ранней мотивации промышленного партнера к взаимодействию. Изложенная методология является важной составной частью развиваемой автором концепции бережливого НИОКР к дифференцированному управлению рисками на основе численных критериев готовности, раннему принятию решений по трансформации целей и задач работ в зависимости от полученных результатов, обоснованному перераспределению инвестиций. Результатом исследования являются практические рекомендации по планированию и оперативному контролю достигнутых результатов с целью создания конкурентоспособной инновационной продукции, ранней диагностики рисков, обоснований перераспределения бюджетных ассигнований. Статья может представлять интерес для руководителей научно-исследовательских подразделений университетов, инновационных компаний, стартапов, венчурных фондов, институтов развития.

Ключевые слова: результативность, НИОКР, планирование, мониторинг, уровни готовности, верификация результатов, УГТ,

Для цитирования: Сартори А.В. Повышение результативности исследований: планирование по уровням готовности в бережливом НИОКР. Экономика науки. 2022; 8(1):4-21. https://doi.org/10.22394/2410-132Х-2022-8-1-4-21

ВВЕДЕНИЕ

ланирование инновационных разработок при составлении технических заданий, оперативная оценка их результативности и управление рисками тесно связаны между собой. Без планирования невозможна объективная оценка результативности, поскольку результативность определяется по степени соответствия плану. Без правил численной оценки каждого проекта принятие управленческих решений неизбежно носит субъективный, а следовательно, односторонний характер.

Инновационные разработки отличаются тем, что в их основе лежит новое знание. В этом их сила, их потенциальная конкурентоспособность, но в этом же их фундаментальные риски. Многочисленные риски инновационных разработок, которые не всегда можно предусмотреть заранее, © А.В. Сартори, 2022 г. делают вероятность достижения цели весьма низкой [1, 2].

Ж^ П

Как научиться ожидать неожиданное? Отсутствие правил оценки рисков является одной из причин, по которой планирование инновационных исследований и разработок рассматривается только в узкой области выбора направления работ и формального учета выполнения требований технических заданий. Да и сами требования зачастую представлены в форме выполнения процесса без гарантии достижения результата. Достижение результата при этом остается за скобками. Результат как цель не сформулирован, следовательно, уровень достижения результата и динамику его движения определить объективно не представляется возможным.

Такое планирование при внешней видимости контроля не дает механизма оперативного управления рисками, которые возникают на различных этапах разработок. Следовательно, оно не служит повышению результативности исследований и разработок, не позволяет ранжировать проекты по динамике их развития, концентрироваться на перспективных направлениях за счет сокращения тупиковых проектов.

Возможность и целесообразность детального планирования НИОКР является предметом острых дискуссий в научном сообществе, значительная часть которого отрицательно отвечает на этот вопрос.

В противоположность этому мнению результаты данной работы показывают возможность и, более того, необходимость детального планирования. Этот вывод проиллюстрирован с использованием методики бережливого НИОКР [3, 4] на частном случае формулировки детальных критериев необходимости и достаточности испытаний экспериментального образца инновационного продукта.

По причине чрезвычайной важности планирования для повышения результативности разработок посвятим часть работы аргументации возможности и необходимости детального планирования. Более полно данный вопрос будет изложен в последующих статьях. Здесь же отметим только обоснование возможности, специфику и основной подход к планированию инновационной разработки.

ПОСТАНОВКА ЗАДАЧИ ПЛАНИРОВАНИЯ

Главный тезис повышения результативности заключается в том, что неэффективные работы должны диагностироваться на предмет выполнения плановых характеристик на как можно более ранней стадии. План при этом должен быть полным и детальным. По неэффективным работам принимается управленческое решение вплоть до их заморозки. Таким образом уменьшаются потери ресурсов.

Инновационный продукт состоит из одной или нескольких частей - критических элементов, которые определяют его конкурентные преимущества. Поскольку разработка такого продукта ведется впервые, то риск достижения плановых характеристик конечного продукта равнозначен риску достижения плановых характеристик всеми критическими элементами. По этой причине постоянный контроль рисков по всем критическим элементам требует пошагового обоснования.

Каждый из инновационных процессов, входящих в исследование, может не дать ожидаемого результата, однако каждый критический элемент должен достичь конкретных плановых характеристик, иначе конкурентное преимущество конечного продукта на рынке может не быть достигнуто. Конкретные результаты отдельных процессов, как правило, непредсказуемы. Вполне вероятно, что какой-либо критический элемент не даст искомого результата. Что означает такой отрицательный результат для целей проекта? Сложно назвать такой результат успешным завершением разработки. Знание получено, но инновационный продукт не создан, его конкурентные преимущества спорны.

При этом лежащие в основе продукта процессы могут и должны заменяться другими по мере испытаний в случае отрицательного результата по одному из них. Отрицательный результат на каком-либо уровне, в отличие от научного исследования, является веской причиной остановки или переориентации всего проекта, если целевой продукт не может быть создан. При этом достижение целевого уровня готовности по этапу работ является необходимым условием достижения результативности НИОКР.

Из этого следует, что для повышения результативности разработок чрезвычайно важно планирование и его гармонизация с объективными критериями оценки выполнения планов.

При планировании каждый системный критерий наполняется конкретным содержанием, целевыми численными техническими характеристиками в зависимости от специфики разрабатываемого продукта и этапа разработки. Системный характер верхнеуровневых критериев дает возможность увидеть общую картину, спланировать достижение суммарного уровня готовности инновационного продукта для каждого этапа работ, не упустив важных для достижения результата аспектов.

Каждый системный критерий привязан к конкретному уровню готовности, достижение которого он характеризует. Действительно, выполнение некоторых критериев преждевременно требовать на ранних уровнях готовности, в то время как выполнение других критериев рискованно откладывать на более поздние этапы. Критерий или их уникальный набор должны однозначно характеризовать уровни готовности во избежание неоднозначности оценки.

Методика бережливого НИОКР в соответствии с этим содержит требование последовательного целенаправленного достижения уровней готовности. Без выполнения этого требования создание целевого продукта является маловероятным и инвестиции в такие проекты имеют высокий риск превратиться в расходы. В случае если конечный продукт состоит из нескольких критических элементов, то для проверки их успешной интеграции они должны иметь одинаковый уровень готовности. Это налагает дополнительное условие на планирование по равномерной готовности критических элементов как мере снижения технологического риска.

В настоящей работе предлагаются верхнеу-ровневые критерии готовности, которые носят системный характер и справедливы применительно к отрасли знания, предметной области проектов. Системность предполагает общую метрику критериев, определяет общие рамки для необходимых и достаточных обоснований достижения результата на каждом уровне. Критерии должны быть прозрачными и объективными для

сужения диапазона экспертных оценок уровня готовности, повышения их точности.

СОСТОЯНИЕ ВОПРОСА ОЦЕНКИ И ПЛАНИРОВАНИЯ НИОКР

Оценке эффективности и результативности НИОКР придается большое значение в силу основных постулатов теории управления [5, 6]. Например, в учебном пособии экономического факультета МГУ термин «планирование» употребляется более 100 раз [7].

Анализ этих работ показывает, что основные показатели эффективности и результативности в основном сформировались и остаются неизменными на протяжении последних десятилетий: объем выполненных НИОКР, публикационная активность, объекты интеллектуальной собственности. Эти показатели применяются как для фундаментальных исследований, направленных на получение знаний, так и для прикладных исследований. По этим показателям эффективность и результативность в отчетах представлена на высоком уровне [8].

Вместе с тем становится все более очевидным, что развитие инновационной экономики требует иных измерений результативности и связанных с этим методик планирования работ, направленных на повышение результативности. Все более важным становится целенаправленное получение инновационного конкурентоспособного на рынке продукта при экономном расходовании ресурсов.

Следует отметить, что в контексте данной статьи под инновационным продуктом понимается такой продукт, который за время жизненного цикла приносит выручку, покрывающую все понесенные расходы на его жизненном цикле, включая разработку, изготовление, продажи, поддержку. Для инвесторов важно, чтобы при управлении портфелями выручка покрывала также расходы на неудачные проекты, остановленные по причине их экономической неэффективности [9].

Современная конкуренция в инновационных отраслях промышленности, глобализация инноваций, информационная доступность, ограниченность ресурсов предъявляют новые требования к оценкам эффективности результатов

инновационных исследований, в особенности на ранних уровнях их развития, когда риски велики.

В России этот факт отмечен поручением по итогам совместного заседания Госсовета и Совета по науке и образованию [10], предусматривающим разработку механизма оценки результативности научных исследований и разработок с учетом уровней готовности технологий и необходимости установления требований к показателям, характеризующим каждый такой уровень.

Эффективность любого проекта в практическом понимании определяется по степени выполнения плана, проверки удовлетворения результата проекта всем требуемым параметрам и установленным ограничениям. Поэтому, как уже отмечалось выше, вопрос об оценке эффективности с неизбежностью приводит нас к вопросу о детальном планировании инновационных исследований и разработок/НИОКР [11].

Организация планирования и контроля в НИОКР, инновационных проектах имеет особое значение в силу того, что создание новых технологий, не применявшихся ранее, напрямую сопряжено со специфическими технологическими, производственными, инженерными, патентными, организационными, рыночными рисками [3, 4], многие из которых невозможно определить заранее и предотвратить на начальных этапах работ, основываясь на предыдущем опыте.

Традиционно планирование НИОКР осуществляется в организации путем определения направления, приоритета работ, на которые поданы заказы, и мониторинга выдачи научных результатов в соответствии с утвержденной рабочей программой [12-18].

Подчеркнем, что в рамках рассматриваемого вопроса мы делаем существенное различие между фундаментальными исследованиями, направленными на получение знаний, и прикладными исследованиями, направленными на создание на основе новых знаний востребованного рынком инновационного продукта. Отличие в плане результативности заключается в том, что от инвестиций в инновационные проекты предполагается получить прибыль в итоге последующей реализации на рынке созданных продуктов и услуг. Этот факт предопределяет особое внимание к механизмам повышения

эффективности инновационных исследований, исключение неоправданных затрат, раннюю оценку рисков, оперативное перераспределение ресурсов в пользу перспективных проектов.

Планирование инновационных исследований и разработок в практической плоскости воспринимается тождественным составлению технического задания (ТЗ) и календарного плана (КП) как его части. Решение об успешном завершении работ принимается на основании экспертной оценки соответствия результатов по составу и срокам технического задания.

Состав ТЗ определяется нормативными документами ГОСТ 15.101-98 «Порядок выполнения научно-исследовательских работ» и ГОСТ 7.32-2017 «Отчет о научно-исследовательской работе». Вместе с тем эти документы не формализуют детально результаты работ, их достаточность для обоснования создания инновационного продукта, оставляя вопрос детализации планирования, критериев достижения результатов на усмотрение заказчика.

Действительно, именно заказчик инновационного проекта в первую очередь должен быть заинтересован в получении эффективного с технико-экономической точки зрения результата, возврате инвестиций, несмотря на все сопутствующие риски. В противоположность заказчику исполнитель вполне комфортно чувствует себя при крупноблочном планировании работ с размытым описанием цели и продукта, широкими допусками или с полным отсутствием фиксированных требований к характеристикам планируемых результатов, поэтапному подтверждению достижимости цели или обоснованию ее недостижимости, необходимости и достаточности испытаний.

Ввиду отсутствия объективных детальных критериев в научном сообществе широко распространено и активно поддерживается мнение о том, что исследовательские проекты невозможно планировать детально, мониторить их выполнение на коротких интервалах времени. Возможность детального планирования результатов является остро дискуссионным вопросом. Действительно, как описать результат того, что еще никто не делал? Позволит ли Природа и мастерство исследователя достигнуть рекордных показателей критических элементов?

Именно рекордных, так как без них теряется весь смысл инноваций как рисковых вложений в надежде на то, что новый продукт существенно превзойдет на рынке конкурентов и окупит понесенные затраты.

Исследования, изложенные в данной статье, дают оптимистический ответ на этот вопрос. Да, детальное планирование по результатам возможно при условии, что ТЗ составлено на основе полного набора верхнеуровневых (системных) критериев с обязательной их детализацией численными параметрами критических элементов. Причем верхнеуровневые критерии сформулированы на системном, т. е. не зависящем от конкретной специфики проекта, уровне. Их структура обеспечивает полноту планирования необходимых и достаточных работ. Иными словами, они показывают, все ли необходимые меры приняты на данном уровне готовности для подтверждения пригодности экспериментального образца для целей проекта. Чрезвычайно важной характеристикой системных критериев является их объективность. Этому условию удовлетворяют бинарные критерии оценки с результатами «ДА» или «НЕТ». Системные критерии должны быть максимально адаптированы под конкретику проекта и каждого его критического элемента и доведены до количественной формы, например, прочность, производительность, рабочая температура, быстродействие, емкость, и т. п.

Нет возможности гарантировать в ТЗ, что результат впервые проводимого исследования будет достигнут. Однако важным является то, что недостижение результата или его недостаточное обоснование должно определяться объективно и на возможно более раннем уровне. Требование о своевременном информировании заказчика о невозможности продолжения работ при выяснении препятствующих их завершению обстоятельств, как правило, включено в типовое ТЗ. Однако автор не сталкивался в своей практике с реализацией данного условия. Наиболее вероятной причиной этого является процессная формулировка состава работ, отсутствие описания результата и критериев его достижения. А выполнение процесса исследования, даже если он не завершился плановым результатом, всегда можно обосновать. В этом, по мнению

автора, кроется корень той «болезни» инновационных разработок, которую не удается вылечить на протяжении последних лет. Имя этой болезни - недостаточная продуктивность (отчет Счетной палаты РФ) для формирования собственной научно-технологической основы для создания и реализации приоритетов [19].

Призывы сделать исследования и разработки еще более результативными, используя прежние методы, неминуемо приносят прежние результаты. Неожиданно оказывается, что рекордный результат не получен или результат не нужен промышленности, менеджеры которой не верят не подкрепленным результатами обещаниям ученых. А когда наконец достаточные данные получены, оказывается, что это решение уже не требуется или не интегрируется в производственный процесс, или оказывается менее экономически эффективно, чем существующие решения.

Для полноты направлений необходимых трансформаций планирования в ТЗ отметим, что оно должно также включать описание предмета разработки, структуры его критических элементов, начальную и конечную оценку уровней готовности по набору критериев, в т. ч. по необходимости и достаточности проведенных испытаний экспериментального образца, процедуру мониторинга и приемки работ по объективным критериям. Однако полный набор требований к трансформации ТЗ не входит в тему данной статьи и будет описан отдельно в последующих статьях на основе подхода «Бережливый НИОКР».

НЕОБХОДИМОСТЬ И ДОСТАТОЧНОСТЬ ИСПЫТАНИЙ ДЛЯ ПРОДВИЖЕНИЯ ПРОДУКТА

Сосредоточимся на описании одного из ключевых и дискуссионных механизмов объективного детального планирования и оценки уровня готовности инновационного продукта по результатам испытания образцов. Создание такой доказательной базы будет, несомненно, способствовать более успешному раннему взаимодействию с промышленностью, определению значения риска инвестирования в разработку, своевременному принятию решения о поддержке, остановке или переориентации проектов,

экспериментальные результаты которых недостаточно обоснованны или негативны.

Действительно, демонстрация на ранних уровнях готовности потенциальному пользователю отдельных характеристик инновационного продукта без учета других важных факторов, а также их взаимного влияния, вряд ли заинтересует пользователя. Напротив, с большой вероятностью, потребителя заинтересует демонстрация испытания всех основных и второстепенных факторов в их взаимодействии в полных диапазонах их изменения. Развивая этот тезис, можно заключить, что задача планирования создания продукта состоит в поэтапном переходе от испытания основных факторов к полному воспроизведению реальных условий.

Знание критериев оценки результатов для разных уровней готовности позволяет составить детальный план работ с указанием срока и необходимых ресурсов для выполнения каждого критерия, проводить оперативный мониторинг результативности, принимать управленческие решения, прогнозировать риски.

Результаты настоящей работы ориентированы в первую очередь на заказчиков НИОКР, нацеленных на коммерциализацию продукта, которые с помощью практической методологии планирования и контроля в рамках бережливого НИОКР определяют содержание ТЗ. Заказчики получат эффективный инструмент ранней диагностики и управления инновационными рисками с фокусом на технологические риски (достижение уровней технологической готовности, ТР1_), которые являются первостепенными. Планирование и мониторинг других инновационных рисков: производственных, инженерных, патентных, организационных, рыночных, а также экономической целесообразности проводится по аналогичной процедуре и будет детально рассмотрено в последующих работах.

Однако есть иной большой класс работ по созданию продукта для открытого рынка, заказчик которых неизвестен. В этом случае ТЗ составляет инициатор работ. Он является заинтересованным лицом в представлении убедительного плана работ и распределения ресурсов. Данная методология может быть использована исполнителями для этой цели.

Если обобщить сказанное, то методология бережливого НИОКР как единый язык оценки сквозной разработки инновационного продукта может быть использована всеми участниками инновационной цепочки, а именно исполнителями, руководителями проектов, стартапов, владельцами продукта, акселераторами инновационных компаний, стартап-студиями, университетами, венчурными фондами в случае их заинтересованности в повышении коммерческой ценности результатов.

Как отмечалось выше, нужно отличать НИОКР как часть инновационного проекта от работ по научным грантам. Эти работы имеют разные цели и критерии успешности. Тем не менее для научно-исследовательских работ, носящих фундаментальный характер и не являющихся предметом коммерциализации, изложенный в статье подход также может быть применен. Однако для этого нужна адаптация критериев готовности под специфику научных исследований, целью которых является получение знаний. Работа в этом направлении ведется, но выходит за рамки тематики данной статьи.

МЕТОДОЛОГИЯ ОЦЕНКИ РЕЗУЛЬТАТОВ РАБОТ

Ввиду возросшей конкуренции в инновационной области успеха в первую очередь могут достичь лишь те проекты, которые представляют команды узкоспециализированных профессионалов, лидирующих специалистов мирового уровня с точки зрения как технологии, так и других аспектов коммерциализации, о которых речь пойдет в данной статье далее.

Фактически внешние эксперты должны оценить проект, подготовленный самыми квалифицированными в заявляемой области специалистами. Круг таких экспертов весьма и весьма ограничен. Это зачастую приводит к ситуации, когда проекты узких специалистов оценивают эксперты из смежных областей, не погруженные в контекст решаемой проблемы как по численным значениям критических характеристик, так и доступным на рынке альтернативным решениям. Не являются исключением и случаи конфликта интересов, отмеченные, например, в рекомендациях эксперту Российского научного фонда [20].

Конкретные критерии достижения тех или иных требований, их полнота, как правило, не задаются явно, в итоге их содержание является субъективным и остается на усмотрение экспертов.

По этой причине не всегда достигается цель экспертной оценки, которая по природе своей должна быть независимой, объективной и единообразной при проверке достижения результатов работ, научной новизны, практической значимости, квалификации команды, патентной защиты, перспектив рынка, эффективности затраченных средств. Экспертам более комфортно дать положительный отзыв о «большой научной значимости результатов» и «обоснованности затрат», чем самостоятельно аргументировать по существу причины негативного отзыва, тем более что серьезной ответственности за неуспех коммерциализации эксперты не несут.

Наша задача состоит в обеспечении объективности при контроле качества выполнения НИОКР в части необходимости, достаточности и целесообразности ее проведения. Какой результат НИОКР признается успешным, а какой нет? В широко распространенной классической верхнеуровневой методологии Т1?1_ [21-26] эти критерии в явном виде не присутствуют.

Несомненно, применение верхнеуровневых критериев признаны значительным шагом вперед. Однако наша цель этим не достигается.

Мы подошли к принципиально важному вопросу, к анатомии Классическое определение [28] обладает несомненным преимуществом — высоким уровнем обобщения для различных предметных областей. Для Т1?1_ за последние 30 лет разработаны процедуры оценки [23] и ГОСТы [26, 27]. Показано, что в годовом интервале для крупных программ такой подход себя полностью оправдывает [4].

Однако в условиях высокой динамики инновационных проектов это преимущество оборачивается в недостаток. На оценку необходимости, достаточности и целесообразности по обобщенным требованиям накладывают отпечаток индивидуальные предпочтения экспертов. Нередки случаи, когда диапазоны оценок экспертов при классическом обобщенном описании различаются на несколько единиц Т1?1_.

Много это или мало? С точки зрения планирования и оперативного контроля такая высокая погрешность неприемлема, особенно если учесть, что средний уровень возрастания Т1?1_ составляет около одной единицы в год [4]. Получается, что при таком разбросе оценок определить Т1?1_ можно не чаще одного раза в несколько лет. Ограниченная этим частота проверки готовности продукта не подходит для раннего мониторинга рисков, ежемесячного контроля, не говоря уже о еженедельном и еще более частом контроле, который применяется, например, в прогрессивной методологии Бсгит. Выход такого продукта на рынок будет неоправданно задержан, а сам продукт потеряет актуальность.

Естественным путем преодоления этой «родовой травмы» классической методологии уровней технологической готовности является, во-первых, пошаговая детализация задач по времени в пределах одного уровня, во-вторых, формулировка конкретных характеристик на основе верхнеуровневых системных требований к их достижению, обеспечивающих необходимость и достаточность испытаний. При этом непременным условием является сохранение уровня высокого обобщения, применимости к разным предметным областям.

Первый путь был реализован введением описания шагов в пределах одного уровня [4, 30]. Применение шагов в описании Т1?1_ на практике показало существенное увеличение чувствительности и «разрешающей способности» экспертизы [29]. Работы, ранее попадавшие в один уровень готовности, при применении шагов разделились на 6—7 подуровней. Появилась возможность определять динамику возрастания зрелости продукта на этапах длительностью 1 квартал и менее, определять работы с наименьшим риском коммерциализации.

Реализацию второго пути, детализацию требований к уровню готовности удалось осуществить в исследовании, излагаемом далее. Он основан на разделении требований/критериев на группы, системные по своему содержанию. Разнесение требований этих групп по уровням готовности, применение их в совокупности позволяет существенно более полно выделить необходимые и достаточные условия достижения

уровней готовности, а значит, более точно спланировать и проконтролировать процесс, снизить риск разработки инновационного продукта.

Эти группы могут использоваться выборочно или дополняться в зависимости от специфики предметной области проекта. Разработка групп системных критериев достижения технологической готовности продукта в зависимости от уровня его готовности является основным содержанием настоящей статьи.

В основе настоящей работы лежит методология бережливого НИОКР [3]. В ее рамках рассмотрен конкретный элемент - разработка и использование единой сквозной системы планирования и мониторинга необходимости и достаточности проводимых испытаний по всем уровням технологической готовности. Такие оценки наряду с оценками по другим параметрам инновационной готовности (MRL, ERL, ORL, BRL, CRL) [3] используются для принятия решения о продолжении работ по проекту.

Системообразующей при этом является линейка критериев TRL. Остальные критерии выбираются исходя из тех возможностей, которые предоставляет набор результатов, полученных на определенном уровне TRL.

В методологии предусмотрено создание единого сквозного языка при подготовке ТЗ на основе критериев оценки. Это позволяет, с одной стороны, минимизировать риски при планировании, распределить ресурсы, а с другой стороны, дать полную и достаточную информацию как для объективной экспертной оценки специалистами из смежных областей, так и для промышленности, потребителей продукта.

Критерии должны иметь несколько степеней детализации. Верхнеуровневые критерии должны иметь системный характер. Это важно для сопоставления результативности проектов из разных предметных областей. Второй уровень детализации критериев отражает специфику отрасли. И, наконец, третий уровень детализации может отражать специфику отдельной группы проектов.

Критерии готовности по этим блокам логично разнести по уровням готовности.

Действительно для каждого конкретного уровня готовности возможно сформулировать те критерии, которые следует выполнить. Имея

при этом в виду, что не все требования к экспериментальному образцу можно проверить на ранних уровнях готовности.

На основе анализа международного практического опыта, а также собственных работ и распространенных ошибок планирования можно выделить несколько блоков детальных критериев технологической готовности, которые характеризуют ее уровень с разных сторон. Блоки включают в себя в том числе масштаб экспериментального образца (от идеи и макета до демонстратора), степень полноты функционала, интеграцию образца в конечное изделие, необходимость и достаточность испытаний или степень верификации характеристик образца.

Описание критериев блока масштабирования было приведено в работе [29]. Блоки полноты функционала, интеграции и используемого материала концептуально разработаны и будут представлены в следующих публикациях.

СИСТЕМНЫЕ КРИТЕРИИ НЕОБХОДИМОСТИ И ДОСТАТОЧНОСТИ ИСПЫТАНИЙ

Разберем практические примеры системных требований к необходимости и достаточности испытаний на примере разработки приборов, оборудования, механизмов (Ьагс^аге). Отметим, что для разработки программного продукта и изделий из других предметных областей подход бережливого НИОКР также подходит после соответствующей адаптации критериев.

Необходимость и достаточность как элементы доказательной базы используются разработчиками при защите проектов, при представлении потенциальным инвесторам, венчурным фондам. От того, насколько эта база полна, во многом зависит успех. Яркая и красочная презентация без наполнения убедительными фактами уже многих не устраивает [31].

Сутью планирования большинства технических заданий является проверка свойств прототипа, подтверждение результатов по согласованной программе и методике испытаний. Возникает вопрос, достаточны ли результаты для обоснования перехода на очередной уровень готовности? Существуют ли другие факторы, неучет которых приводит к увеличению

риска недостижения результата? Не закончится ли НИОКР рекомендацией о проведении дополнительных исследований на том же технологическом уровне? Полнота объема проведенных исследований при планировании, как правило, не обосновывается. Однако только корректно проведенная проверка может входить в доказательную базу для определения соответствующего уровня готовности и связанного с ним риска.

Как отличить успешную полную проверку (верификацию) от фрагментарной неуспешной? Как отличить разные степени готовности прототипа? Ответ на эти вопросы изложен далее.

Определения необходимости и достаточности в наиболее общем виде даны в логике и математике (Необходимое и достаточное условие)1.

Для применения в методологии бережливого НИОКР адаптируем эти классические определения для условий проектного управления следующим образом.

Необходимость испытаний означает, что результат этапа/проекта может быть достигнут только в том случае, если данные исследования дали положительный результат. Иными словами, без успешного проведения каждого из необходимых испытаний для каждого критического элемента и их интеграции с другими элементами невозможно исключить значительные технологические риски. При этом могут присутствовать другие дополнительные испытания, но их результат не требуется в обязательном порядке для достижения результата этапа/проекта.

Достаточность набора исследований означает, что их совокупный положительный результат однозначно означает достижение результата этапа/проекта. Иными словами, такой набор испытаний гарантирует, что при их успешном проведении преодолены все ожидаемые на данном уровне готовности технологические риски дальнейшего создания полнофункционального полномасштабного продукта и его интеграции в финальный продукт.

Суждение Р является необходимым условием суждения X, когда из (истинности) X следует (истинность) Р. То есть, если Р ложно, то заведомо ложно и X.

Суждение Р является достаточным условием суждения X, когда из (истинности) Р следует (истинность) X, то есть в случае истинности Р проверять X уже не требуется. https://dic.academic.ru/dic.nsf/ruwiki/21 1597

Необходимость и достаточность результатов можно рассматривать как предоставление свидетельств того, что все возможные тестовые процедуры запланированы в методике и программе испытаний, а результаты подтверждают достижение всех целевых характеристик в условиях, определяемых для каждого уровня готовности индивидуально.

Широко распространено мнение о том, что необходимость и достаточность испытаний в полной мере определяются заказчиком и формулируются в техническом задании, ГОСТах, нормативных документах, программе приемки. Это мнение в значительной степени оправданно в случае, когда речь идет о разработке конкретного изделия по известной технологии, технологический риск по которому отсутствует. Например, о применении известных технических решений в известных условиях в проверенных диапазонах изменения внутренних и внешних факторов.

Иная картина складывается в инновационных проектах, принципиально построенных на рисках [9]. В этом случае на любом этапе существует риск неудач и процесс разработки должен модифицироваться в зависимости от полученных достоверных результатов.

Заказчик инновационного продукта не всегда может предугадать, какие технологические повороты претерпит проект. Поэтому не может однозначно детально сформулировать методики и программу испытания экспериментальных макетов, моделей, демонстраторов. Заказчику важен результат. Если разработка по его конкретным требованиям заведет проект в тупик, то исполнитель сошлется на полное выполнение ТЗ и будет прав.

Понимая такую специфику высокорисковых технологических проектов, западные компании начали применять подход разделения рисков (risk sharing) при разработке элементов и компонентов инженерной системы. Например, в аэрокосмической промышленности AIRBUS и EMBRAER [32] используют такой подход для сокращения размера инвестиций и рисков. Партнеры (исполнители, поставщики решений) при этом выполняют разработку элементов системы, принимая риск ее успешной интеграции. При таком походе детали конструкции,

материалы, режимы их изготовления, методики и программы тестирования лежат в области ответственности партнеров-исполнителей.

В прикладных исследовательских работах такой подход также обеспечивает снижение риска интеграции решения в систему, поскольку он позволяет исключить на ранней стадии возможные ошибки, узкие места и неопределенности при составлении технических заданий, используя специализированные знания исполнителей. Партнер-исполнитель применяет те лучшие технологии и методики тестирования, которыми он обладает в зависимости от промежуточных результатов. При этом он отвечает за конечный результат - создание планируемого продукта и бесшовную интеграцию элемента в систему.

В отличие от ортодоксальной системы «изготовь по чертежу» сотрудничество переходит к схеме разделения рисков «разработай и изготовь ».

Для исполнителя такая система приносит выгоду в виде упрощения согласования технического задания. Однако в то же время возрастает его ответственность в выборе инновационных технических решений и их альтернатив, программ и методик испытаний, обосновании их необходимости и достаточности, распределении ресурсов.

Для построения практических критериев пошагового продвижения по уровням готовности испытаний нам потребуются их некоторые системные характеристики, которые определим следующим образом.

Критические факторы/процессы/воздействия - факторы, определяющие критическое преимущество продукта.

Второстепенные факторы/процессы/воздействия - факторы, влияние которых на критические факторы незначительно, но может приводить к ограничению диапазонов параметров или областей применения продукта.

Внутренние факторы/процессы (INT) - процессы, происходящие внутри продукта, формирующие его критическое преимущество, например, все, что определяет свойства продукта как такового: взаимодействие его частей, тепловые, электромагнитные, механические, ядерные, логические, химические реакции и состав, фазовые переходы, радиационные свойства,

гидродинамика, свойства материалов, трение, износ, коррозия, внутренние исполнительные механизмы, ресурс, управляющие сигналы встроенных датчиков.

Внешние факторы/процессы/воздействия (EXT) - влияние других элементов системы и окружающей среды, последовательно воспроизводящие реальные условия эксплуатации продукта, например, все, что определяет интеграцию продукта в систему и среду: механические, тепловые, химические, радиационные воздействия, влияния окружающих сред, управляющие воздействия.

Ограниченный диапазон - диапазон изменения параметров внутренних и/или внешних факторов/процессов, не позволяющий надежно масштабировать результаты испытания на реальные условия эксплуатации продукта без проведения дополнительных исследований.

Полный диапазон - диапазон изменения параметров внутренних и/или внешних факторов/ процессов, позволяющий без риска масштабировать результаты тестирования на реальные условия эксплуатации продукта.

Взаимное воздействие (MIX) - одновременное воздействие нескольких или всех внутренних и/или внешних факторов/процессов в продукте с целью последовательного приближения к реальным условиям его эксплуатации.

Применение требования необходимости и достаточности для верификации означает, что проверке подлежат все возможные для данного уровня готовности внешние и внутренние факторы в доступных диапазонах изменения, а также их взаимное влияние. Степень сложности верификации нарастает по мере возрастания уровня готовности прототипа.

При этом верификации подлежат внутренние, внешние воздействия, а также их взаимное влияние вплоть до реальных условий. Воздействия подразделяются на критические и второстепенные, изменяемые в ограниченном или в полном диапазоне.

Более детально разнесение системных требований представлено в таблице 1, в которой суммированы требования, предъявляемые к масштабу и необходимым и достаточным испытаниям экспериментального образца для различных уровней готовности.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

Результаты разработки критериев необходимости и достаточности испытаний экспериментального образца, присущих каждому уровню технологической готовности, представлены в таблице 1. Детализация проведена для критериев блоков «Масштабируемость» и «Необходимость и достаточность результатов испытаний» (Т1?1_3-Т1?1-6).

Таблица 2 наглядно представляет распределение критериев необходимости и достаточности испытаний экспериментального образца по уровням технологической готовности. Данные таблицы подчеркивают однозначность соотношения внутренних и внешних воздействий для составления программы и методики испытаний.

При практическом планировании результатов предстоящих работ целесообразно каждый из критериев планового уровня готовности охарактеризовать численно исходя из специфики инновационного продукта, а также указать ресурсы, требуемые для его достижения. Важно обратить внимание на предварительное составление полного перечня критических и второстепенных факторов, их взаимодействий, диапазонов изменения, а также возможностей экспериментальной техники реализовать такие испытания.

Таблица 2 представляет основной результат настоящего исследования. Воздействие различных факторов в исследуемом образце и его взаимодействие с окружающими элементами, интеграция в конечный продукт структурированы на системном уровне. В ячейках с надписью «Т1?1_», расположенных по диагонали, показано оптимальное соотношение внутренних и внешних факторов, необходимых и достаточных для верификации на данном уровне готовности.

Разбиение на внутренние и внешние воздействия/факторы иногда условно, тем не менее весьма полезно для понимания полноты тестирования. Деление на основные и второстепенные факторы также зависит от задачи. Например, аккумуляторы для автомобиля и для смартфона могут иметь разный набор основных и второстепенных факторов. Их набор является очень важным элементом формулировки требований к конечному продукту.

Для большей наглядности приведем несколько примеров, иллюстрирующих разбиение на внешние, внутренние, основные, вспомогательные факторы для разных применений.

Пример 1. Разработка химического источника тока

a. Внутренние факторы:

1. Основные: электрохимические процессы, в том числе удельная накопленная энергия, удельная мощность, ток разряда, рост дендритов.

2. Второстепенные: удельный вес, число циклов заряд/разряд, время заряда, ток заряда, саморазряд, внутреннее сопротивление, газовыделение, скорость достижения номинальных характеристик.

Перечисление факторов не претендует на полноту, однако иллюстрирует методологический принцип. Основные и второстепенные факторы могут дополняться, переноситься из одной категории в другую в зависимости от целевого назначения продукта.

b. Внешние факторы:

1. Основные: температура, вибрация, контроль заряда, технологичность и характеристики корпусирования.

2. Второстепенные: теплоотвод от элемента, устойчивость к короткому замыканию, устойчивость к удару, влажности и агрессивным средам, коррозия электродов и проч.

с Диапазоны изменения внутренних и внешних факторов: ограниченные (нормальные условия), лабораторно воспроизводимые условия, реальные условия.

d. Взаимодействие — тестирование при взаимодействии основных и второстепенных внутренних и внешних факторов, пошаговая верификация характеристик, приближающаяся к реальным условиям, включая полные диапазоны изменения параметров. Примеры разного уровня полноты исследования взаимодействий:

1. Неполный: исследование удельной энергии только при повышенной температуре.

2. Полный: исследование удельной энергии при повышенной температуре, вибрации, возрастании циклов

Таблица 1

Детализация критериев группы критериев «Масштабируемость» и «Необходимость и достаточность испытаний» к уровням технологической готовности (пример ТРЬЭ-ТРЬб)

TRL Критерии

3 4 5 6

Обобщенное (классические) содержание уровня готовности Изготовлен макет и продемонстрированы его критические характеристики. Изготовлен лабораторный образец, подготовлен лабораторный стенд, проведены испытания базовых функций связи с другими элементами системы. Изготовлен и испытан экспериментальный образец в реальном масштабе по полупромышленной технологии, проведена эмуляция основных внешних условий. Изготовлен полнофункциональный полномасштабный образец на пилотной производственной линии, подтверждены рабочие характеристики в условиях, приближенных к реальности.

Масштабируе- Лабораторный: эле-мость менты не интегрированы, проверка концепции. Лабораторный: элементы интегрированы. Полнофункциональный Полнофункциональный опытный образец без полномасштабный риска масштабирования. образец (демонстратор).

Верификация: внутренние факторы, INT Единичные критические INT в ограниченных диапазонах. Все критические INT в близких к реальным диапазонах, оценка второстепенных INT в ограниченных диапазонах. Все критические INT и второстепенные INT в близких к реальным диапазонах. Максимально возможные в лабораторных условиях критические и второстепенные MIX в максимально близких к реальным диапазонах во взаимодействии.

Верификация: внешние факторы, EXT Оценка единичных критических EXT. Оценка всех критических EXT в ограниченных диапазонах. Все критические EXT и второстепенные EXT в близких к реальным диапазонах (эмуляция).

Верификация: факторы во взаимодействии, MIX Нет требований. Взаимодействие всех критических INT в ограниченных диапазонах, оценка единичных критических EXT в ограниченных диапазонах. Все критические MIX в ограниченных диапазонах, оценка второстепенных MIX в близких к реальным диапазонах.

«заряд-разряд», коррозии и всех других основных и второстепенных факторах.

Пример 2. Разработка цифровой модели процесса коррозии

Для надежного моделирования с использованием модели требуется как минимум написание алгоритма и его верификация (испытание) в условиях, воспроизводящих реальность.

a. Внутренние факторы для включения в алгоритм расчета:

1. Основные: свойства материала, химсостава поверхности, коррозионного агента.

2. Второстепенные: технология обработки поверхности, добавки к коррозионному агенту.

b. Внешние факторы:

1. Основные: температура, вибрация, радиоактивное облучение, технологичность

и характеристики корпусирования, программно-аппаратная реализация, совместимость с программно-аппаратным комплексом пользователя.

2. Второстепенные факторы для включения в алгоритм расчета. с. Диапазоны изменения внутренних и внешних факторов определяются реальными условиями применения модели.

с1. Взаимодействие — тестирование при взаимодействии основных и второстепенных внутренних и внешних факторов. Постадийное приближение к реальным условиям. Аналогично предыдущему примеру.

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Если ТЗ, программа и методика испытаний составлены неполно, то им будут соответствовать ячейки, помеченные «!!!». Это означает, что исследование, даже если оно

öl

ы □

I □

г

i

?

* s

IU □

IU IU

4

m z

Таблица 2

Матрица полноты и достаточности испытаний экспериментального образца: критерии достижения уровней готовности

Внутренние воздействия (расчет)

Внутренние воздействия (эксперимент)

Степень учета воздействий

Реальные

Критические+ Второстепенные

Критические

Нормальные условия

Аналитическая модель

Оценка

Диапазон параметров

Полный

Ограниченный

Полный

Ограниченный

Ограниченный

Выборочные

Оценка

Аналит. модель

Критические Ограничен

Критические+ второстепенные

ный

Полный

Ограничен-

Полный

Реальные Ограничен

Полный

Ш

Г Г Г

III

III

III

III

III

III

III

TRL1

TRL2

TRL3

TRL4

TRL5

TRL6

TRL7

TRL8

III

in

III

in

in

in

in

in

- кабинетные исследования

- лабораторные исследования

- исследования в реальных условиях

щ - целесообразно скорректировать

необходимость и достаточность испытаний

ш

I

CD А

0

1

0

А Ш

1

Ш

<

А 5

выполнено полностью по техническому заданию, не дает уверенности в том, что можно переходить к финансированию достижения следующего уровня готовности. Иными словами, риски результативного завершения разработки увеличиваются.

Отметим, что предлагаемая методология определения полноты и достаточности отвечает требованиям детальности и объективности, сформулированным в разделе «Постановка задачи». К таким требованиям относились системность, т. е. независимость от предметной области, бинарность оценок, возможность наполнения критериев конкретными значениями параметров исходя из специфики разрабатываемого продукта.

Практическое применение методики состоит в следующих шагах:

1) определение полного перечня процессов/воздействий/факторов, влияющих на конкурентные преимущества инновационного продукта;

2) определение критических и второстепенных факторов;

3) определение диапазонов изменения факторов;

4) определение тех взаимодействий факторов, которые могут повлиять на конкурентные преимущества продукта;

5) составление программы и методики испытаний в соответствии с планируемым к достижению уровнем готовности;

6) корректировка задания на экспериментальный образец, испытательный стенд, метрологическое оборудование, обеспечение иных ресурсов для выполнения необходимых и достаточных испытаний для целевого уровня готовности.

Представленная в таблице 2 матрица полноты и достаточности верификации (Матрица) составлена на основе опыта и анализа результатов большого количества проектов. Однако она не является догмой. Важен подход к созданию достаточной доказательной базы испытаний инновационного продукта. Для

отдельных проектов матрица может и должна быть адаптирована специалистами по управлению НИОКР заказчика или инициатора проекта для отражения его специфики.

ЗАКЛЮЧЕНИЕ

Результаты исследования приводят к важнейшему выводу о возможности и конкретных механизмах детального планирования исследований и разработок по результатам на коротких интервалах на основе бережливого НИОКР. Планирование и оперативный мониторинг результатов раскрывают потенциал повышения результативности и прозрачности инновационных исследований и разработок. Критерии необходимости и достаточности испытаний до настоящего времени не привлекали пристального внимания исследователей, несмотря на то что они являются важнейшей составляющей повышения результативности работ. В статье представлены критерии подтверждения необходимости и достаточности испытаний образца для различных уровней технологической готовности продукта. Критерии сформулированы на системном уровне и справедливы для различных предметных областей. При их практическом применении требуется конкретизация параметров, отражающих специфику продукта.

Результаты таких испытаний снижают риски разработок и формируют доказательную базу для кооперации с промышленными партнерами даже на ранних уровнях готовности.

Критерии необходимости и достаточности являются важным, но только одним из блоков критериев достижения уровня технологической готовности. Разработка критериев для других важных блоков, таких как функциональная полнота, интеграция в систему, масштабируемость образца, материал для переработки, требуют дальнейшего исследования.

Результаты настоящей работы ориентированы в первую очередь на всех участников инновационного процесса, заинтересованных в успешной коммерциализации продукта.

ЛИТЕРАТУРА

1. Innovation Risk: How to Make Smarter Decisions / Harward Business review, 2013. https://hbr. org/2013/04/innovation-risk-how-to-make-smarter-decisions.

2. Benefits and Risks of Innovation: Balancing for Success / InterObservers. https://interobservers. com/benefits-and-risks-of-innovation.

3. Сартори А. В., Сушков П. В., Манцевич Н.М. (2020) Принципы бережливого управления исследованиями и разработками на основе методологии уровней готовности инновационного проекта // Экономика науки. 2020;6(1-2):22-34. DOI: 10.22394/2410-132X-2020-6-1-2-22-34.

4. Сартори А. В., Гареев А. Р., Ильина Н.А., Манцевич Н.М. (2020) Применение подхода уровней готовности для различных предметных направлений в бережливом НИОКР // Экономика науки. 2020;6(1-2):118-134. DOI: 10.22394/2410-132X-2020-6-1-2-118-134.

5. Иванова Н, Савченко Н. (2019) Как оценить эффективность НИОКР // Экономика и жизнь. https://www.eg-online.ru/article/394831.

6. Ковков Д. В., Бичурин Х.И., Болдырев Д. А., Смо-лова Э.А. (2018) Анализ и оценка результативности НИОКР предприятий ракетно-космической промышленности на основе баз данных научного цитирования // Вопросы инновационной экономики. 2018;8(1):105. D0I:10.18334/ vinec.8.1.38868.

7. Грачева М.В., Бабаскин С.Я. (2017) Управление проектами: Учеб. пособие. М.: Экономический факультет МГУ имени М.В. Ломоносова. 148 с.

8. Показатели результативности НИР (2022) / Санкт-Петербургский политехнический университет Петра Великого. 19.02.2022.

9. Сартори А.В., Манцевич Н.М. (2020) Модель бережливого управления инновационными проектами на основе учета рисков и численной оценки экономической целесообразности выполнения этапов работ // Вопросы инновационной экономики. 2020;10(4). DOI: 10.18334/ vinec.10.4.110974.

10. Перечень поручений по итогам совместного заседания Госсовета и Совета по науке и образованию (2022) / Официальный сайт Президента России. http://www.kremlin.ru/acts/assignments/ orders/67752.

11. Оценка эффективности проекта (2022) / Первый эксперт. https://first-expert.ru/otsenka-effektivnosti-proekta.

12. Планирование научно-исследовательских работ (2022) / Военно-медицинская академия им. С.М. Кирова. https://www.vmeda.org/nauck/ planirovanie-i-realizaciya-nauchno-issledovatelskix-rabot.

13. Антропов В.А., Шеломенцев А.Г. (2015) Планирование научно-исследовательской работы на университетской кафедре // Университетское управление: практика и анализ. 2015; 1 (95). https://elar.urfu.ru/bitstream/10995/53329/1/ UM_2015_1_003.pdf.

14. Методика научного исследования. Планирование научно-исследовательской работы (2022) / OzLib. https://ozlib.com/993222/iskusstvo/ metodika_nauchnogo_issledovaniya.

15. Координация и планирование научно-исследовательской деятельности (2022) / Департамент образования и науки города Москвы. https://mgok. mskobr.ru/info_add/koordinatsiya-i-planirovanie-nauchno-issledovatelskoy-deyatelnosti-gbpou-mgok.

16. Организация и планирование научно-исследовательских работ (2022) / Сеченовский университет. https://www.sechenov.ru/univers/structure/ department/otdel-analiza-i-nauchnogo-prognoziro vaniya/%D0%BErganizacija.

17. Brennan T, Ernst P, Kafz J, Roth E. (2022) Building an R&D strategy for modern times / McKincey & Company, 03.11.2020. https://www.mckinsey. com/business-functions/strategy-and-corporate-finance/our-insights/building-an-r-and-d-strategy-for-modern-times.

18. Lalienea R, Liepeb Z. (2015) R&D Planning System Approach at Organizational Level / 20th International Scientific Conference Economics and Management - 2015 (ICEM-2015). https://publons. com/journal/126787/20th-international-scientific-conference-economics.

19. Отчет о результатах экспертно-аналитического мероприятия «Определение основных причин, сдерживающих научное развитие в Российской Федерации: оценка научной инфраструктуры, достаточность мотивационных мер, обеспечение привлекательности работы ведущих ученых» (2020) / Счетная Палата РФ. https://fgosvo.ru/ uploadfiles/Work_materials_disscusion/sp.pdf.

20. Рекомендации эксперту Российского научного фонда (2020) / РНФ. https://rscf.ru/fondfiles/ documents/exp-reminder.pdf.

21. The TRL Scale as a Research & Innovation Policy Tool (2014) / EARTO Recommendations. http:// www.earto.eu/fileadmin/content/03_Publications/ The_TRL_Scale_as_a_R_I_Policy_Tool_-_EARTO_ Recommendations_-_Final.pdf.

22. Graettinger C.P., Caroline P. et al. (2002) Using the Technology Readiness Levels Scale to Support Technology Management in the DOD's ATD / STO Environments. http://resources.sei.cmu.edu/library/ asset-view.cfm?assetID=5835.

23. Technology Readiness Assessment (TRA). Guidance (2011) / United States Department of Defense.

http://www.acq.osd.mil/chieftechnologist/publi-cations/docs/TRA2011.pdf.

24. Technology readiness levels (TRL) (2014) Horizon 2020 - work programme 2014-2015 General Annexes / European Commission. http://ec.europa. eu/research/participants/data/ref/h2020/ wp/2014_2015/annexes/h2020-wp1415-annex-gtrl_en.pdf.

25. Technology Readiness Levels (2015) / Public Works and Government Services Canada. https:// buyandsell.gc.ca/initiatives-and-programs/ canadian-innovation-commercialization-program-cicp/programspecifics/technology-readiness-level.

26. ГОСТ 15.101-98 (1998) Система разработки и постановки продукции на производство (СРПП). Порядок выполнения научно-исследовательских работ / Техэксперт. https://docs.cntd.ru/ document/1200003945.

27. ГОСТ 7.32-2017 (2017) Отчет о научно-исследовательской работе / Техэксперт. https://docs. cntd.ru/document/1200157208.

28. Mankins J.C. (1995) Technology readiness levels / Advanced Concepts Office of Space Access and Technology NASA. http://www.hq.nasa.gov/office/ codeq/trl/trl.pdf.

29. Сартори Л. В., Ильина Н.А., Манцевич Н. М. (2019) Концепция оценки потенциала коммерциализации результатов НИОКР в научных организациях и вузах // Высшее образование сегодня. 2019;6:11-25.

30. Сартори А. В., Сушков П. В., Манцевич Н. М. (2018) Школа бережливого НИОКР: практика подготовки исследователей в вузе с использованием грантов эндаумент-фонда // Высшее образование сегодня. 2018; 7:2-9.

31. Рекомендации по представлению инновационного проекта по программе «Умник» (2022). Умник. https://umnik.fasie.ru/mephi/page/slaydy_ prezentatsii.

32. Figueiredo P.S. et al. (2008) Risk Sharing Partnerships with Suppliers: The Case of Embraer // Journal of Technology Management and Innovation. 2008;3(1). D0I:10.1142/9789812770318_0017.

Информация об авторе

Сартори Андрей Владимирович - начальник отдела сетевого планирования АО «Прорыв», Государственная корпорация «Росатом», ORCID: 0000-0001-8042-2294 (Российская Федерация, 107140, г. Москва, Малая Красносельская ул., д. 2/8 к.7; e-mail: sartoriandrey@gmail.com).

A.V. SARTORI,

JSC «Proryv» (Moscow, Russian Federation; e-mail: sartoriandrey@gmail.com)

IMPROVING RESEARCH PERFORMANCE THROUGH PLANNING BY READINESS LEVELS IN LEAN R&D

UDC: 338.28

https://doi.org/10.22394/2410-132X-2022-8-1-4-21

Abstract: Among the factors that contribute to increasing the effectiveness of R&D, a special place is occupied by the issue of effective work planning, criteria for monitoring their effectiveness. The low research effectiveness noted at the level of state institutions hinders the innovative development of our country. The first fundamental step in solving this problem is the preparation of detailed comprehensive technical specifications based on effective work planning, the very possibility of which is a hotly debated issue in the scientific and technical community. The direct relationship between results planning and objective monitoring of the work progress, which together lead to increased effectiveness, the possibility of redistributing the budget in favor of highly effective innovative developments, is analyzed, and shown. Based on the lean R&D approach and tailored readiness levels criteria, both the possibility itself and practical step-by-step recommendations for planning and operational monitoring of results are shown. The recommendations are considered on the example of the formulation of detailed criteria for the necessity and sufficiency of pilot sample testing as the most important element of the early motivation of an industrial partner to get into cooperation. The described methodology is an important part of the lean R&D concept developed by the author, towards differentiated risk management based on numerical readiness levels criteria, early decision-making on the transformation of goals and objectives of work depending on the results obtained, and reasonable redistribution of investments. The result of the study is practical recommendations for planning and operational control of the results achieved to create competitive innovative products, early diagnosis of risks, justifications for the redistribution of resources. The article may be of interest to heads of research departments of universities, innovative companies, startups, venture funds, development institutions.

Keywords: effectiveness, planning, monitoring, levels of readiness, verification of results, TRL

For citation: Sartori A.V. Improving Research Performance Through Planning by Readiness Levels in Lean R&D.

The Economics of Science. 2022; 8(1):4-21. https://doi.org/10.22394/2410-132X-2022-8-1-4-21

REFERENCES

1. Innovation Risk: How to Make Smarter Decisions / Harward Business review, 2013. https://hbr. org/2013/04/innovation-risk-how-to-make-smart-er-decisions.

2. Benefits and Risks of Innovation: Balancing for Success / InterObservers. https://interobservers.com/ benefits-and-risks-of-innovation.

3. Sartori A. V., Sushkov P. V., Mantsevich N. M. (2020) The principles of lean research and development management based on the methodology of the innovation project readiness levels // The Economics of Science. 2020;6(1-2):22-34. DOI: 10.22394/2410-132X-2020-6-1-2-22-34.

4. Sartori A.V., Gareev A.R., Ilyina N.A., Mantsevich N.M. (2020) Application of the approach of readiness levels for various subject areas in lean R&D // The Economics of Science. 2020;6(1-2):118-134. DOI: 10.22394/2410-132X-2020-6-1-2-118-134.

5. Ivanova N, Savchenko N. (2019) ow to evaluate the effectiveness of R&D // Economics and Life. https://www.eg-online.ru/article/394831.

6. Kovkov D.V., Bichurin Kh.I., Boldyrev D.A., Smo-lova E.A. (2018) Analysis and evaluation of the performance of R&D enterprises of the rocket and space industry based on scientific citation databases // Issues of innovative economics. 2018;8(1):105. D0I:10.18334/vinec.8.1.38868.

7. Gracheva M.V., Babaskin S.Ya. (2017) Project Management: Proc. allowance. M.: Faculty of Economics of Moscow State University named after M.V. Lomonosov. 148 p.

8. Performance indicators of research (2022) / Peter the Great St. Petersburg Polytechnic University, February 19, 2022.

9. SartoriA.V, Mantsevich N.M. (2020) A model of lean management of innovative projects based on risk accounting and an estimated assessment of the economic profitability of a number of works // Issues of innovative economics. 2020;10(4). DOI: 10.18334/vinec.10.4.110974.

10. List of instructions following the meeting of the State Council and the Council on Affairs and Collections (2022) / Official website of the President of Russia. http://www.kremlin.ru/acts/assignments/ orders/67752.

11. Evaluation of the effectiveness of the project (2022) First expert. https://first-expert.ru/otsenka-effek-tivnosti-proekta.

12. Planning of research work (2022) Military Medical Academy named after S.M. Kirov. https://www.vm-eda.org/nauck/planirovanie-i-realizaciya-nauchno-issledovatelskix-rabot.

13. Antropov V.A., Shelomentsev A.G. (2015) Planning of research work in the university department // University management: practice and analysis. 2015;1(95).

https://elar.urfu.ru/bitstream/10995/53329/17 UM_2015_1_003.pdf.

14. Methods of scientific research. Research planning (2022) / OzLib. https://ozlib.com/993222/iskusst-vo/metodika_nauchnogo_issledovaniya.

15. Coordination and planning of research activities (2022) / Department of Education and Science of the City of Moscow. https://mgok.mskobr.ru/ info_add/koordinatsiya-i-planirovanie-nauchno-issledovatelskoy-deyatelnosti-gbpou-mgok.

16. rganization and planning of research work (2022) / Sechenov University. https://www.sechenov.ru/univ-ers/structure/department/otdel-analiza-i-nauchno-go-prognozirovaniya/%D0%BErganizacija.

17. Brennern T, Ernst P, Kotz J, Roth E. (2022) Building an R&D strategy for modern times / McKincey & Company, 03.11.2020. https://www.mckinsey. com/business-functions/strategy-and-corporate-finance/our-insights/building-an-r-and-d-strategy-for-modern-times.

18. Lolieneo R, Liepeb Z. (2015) R&D Planning System Approach at Organizational Level / 20th International Scientific Conference Economics and Management - 2015 (ICEM-2015). https://publons. com/journal/126787/20th-international-scientific-conference-economics.

19. Report on the appointment of an expert-analytical event "Identification of the main reasons hindering scientific development in the Federation: assessment of scientific reliability, sufficiency of motivational measures, ensuring the requirement for work requiring scientific research" (2020) / Accounts Chamber of the Russian Federation. https://fgosvo. ru/uploadfiles/Work_materials_disscusion/sp.pdf.

20. Recommendations to the expert of the Russian Science Foundation (2020) / Russian Science Foundation. https://rscf.ru/fondfiles/documents/exp-reminder.pdf.

21. The TRL Scale as a Research & Innovation Policy Tool (2014) / EARTO Recommendations. http:// www.earto.eu/fileadmin/content/03_Publications/ The_TRL_Scale_as_a_R_I_Policy_Tool_-_EARTO_ Recommendations_-_Final.pdf.

22. Groettinger C.P., Caroline P. et ol. (2002) Using the Technology Readiness Levels Scale to Support Technology Management in the DOD's ATD / STO Environments. http://resources.sei.cmu.edu/library/ asset-view.cfm?assetID=5835.

23. Technology Readiness Assessment (TRA). Guidance (2011) / United States Department of Defense. http://www.acq.osd.mil/chieftechnologist/publica-tions/docs/TRA2011.pdf.

24. Technology readiness levels (TRL) (2014) Horizon 2020 - work programme 2014-2015 General Annexes / European Commission. http://ec.europa. eu/research/participants/data/ref/h2020/

экономика науки

wp/2014_2015/annexes/h2020-wp1415-annex-gtrl_en.pdf.

25. Technology Readiness Levels (2015) / Public Works and Government Services Canada. https://buy-andsell.gc.ca/initiatives-and-programs/canadian-innovation-commercialization-program-cicp/pro-gramspecifics/technology-readiness-level.

26. GOST 15.101-98 (1998) System for the development and production of products (SRPP). The procedure for performing research work / Tekhekspert. https://docs.cntd.ru/document/1200003945.

27. GOST 7.32-2017 (2017) Report on research work / Tekhekspert. https://docs.cntd.ru/docu-ment/1200157208.

28. Mankins J.C. (1995) Technology readiness levels / Advanced Concepts Office of Space Access and Technology NASA. http://www.hq.nasa.gov/office/ codeq/trl/trl.pdf.

29. Sartori A.V., Ilyina N.A., Mantsevich N.M. (2019) The concept of assessing the potential for the commercialization of R&D results in scientific organizations and universities // Higher education today. 2019;6:11-25.

30. Sartori A.V., Sushkov P.V, Mantsevich N.M. (2018) School of Lean R&D: the practice of training researchers at the university using grants from the endowment fund // Higher education today. 2018;7:2-9.

31. Recommendations for the presentation of an innovative project under the Umnik program (2022). Umnik. https://umnik.fasie.ru/mephi/page/slaydy_ prezentatsii.

32. Figueiredo P.S. et at. (2008) Risk Sharing Partnerships with Suppliers: The Case of Embraer // Journal of Technology Management and Innovation. 2008;3(1). D0I:10.1142/9789812770318_0017.

Author

Andrey V. Sartori - Head of Network Scheduling Department, JSC "Proryv", State Atomic Energy Corporation "Rosatom", ORCID: 0000-0001-8042-2294 (Russian Federation, Moscow, Malaya Krasnoselskaya st., 2/8 building 7; e-mail: sartoriandrey@gmail.com).

новости

КУРСЫ АКАДЕМИИ ВОИС

Н

В

семирная организация интеллектуальной собственности (World Intellectual Property Organization) на базе Академии ВОИС проводит регулярное обучение, подготовку и повышение квалификации в области интеллектуальной собственности (ИС). Обучение на курсах организовано для государств - членов ВОИС на электронной учебной платформе на семи языках. В 2022 г. На русском языке можно пройти обучение на 12 курсах, в том числе: ^ DL-101 Основы интеллектуальной собственности

> DL101 PCT Введение в Договор о патентной кооперации

^ DL-177 Курс электронного обучения «Использование патентной информации»

> DL-201 Авторское право и смежные права

^ DL-203 Интеллектуальная собственность, традиционные знания и традиционные выражения культуры

> DL-301 Патенты

^ DL-302 Товарные знаки, промышленные образцы и географические указания ^ DL-302 Товарные знаки, промышленные образцы и географические указания ^ DL-317 Арбитраж и медиация по правилам ВОИС ^ DL-320 Основы подготовки патентной документации ^ DL-450 Управление интеллектуальной собственностью

^ DL501 Коллективное управление авторскими и смежными правами» для практикующих юристов ^ DL502 Коллективное управление авторскими и смежными правами» для правообладателей ^ DL503 Курс по коллективному управлению авторскими и смежными правами для организаций

коллективного управления (ОКУ) ^ DL506 Курс по коллективному управлению авторскими и смежными правами» для сотрудников директивных органов

Подробную информацию о сроках проведения курсов ВОИС и условиях обучения можно найти на сайте Академии ВОИС по адресу https://welc.wipo.int/acc/index.isf?lang=ru.