CC BY
63А.В. КОМАРОВ,
старший научный сотрудник ФГБНУ «Дирекция научно-технических программ», г. Москва, Россия, abkom@mail.ru К.В. ШУРТАКОВ,
руководитель отдела ФГБНУ «Дирекция научно-технических программ», г. Москва, Россия, shurtakov@fcntp.ru
Е.В. ЧЕЧЁТКИН,
главный специалист ФГБНУ «Дирекция научно-технических программ», г. Москва, Россия,
echechetkin@fcntp.ru
К.А. КОМАРОВ,
ведущий специалист ФГБНУ «Дирекция научно-технических программ», г. Москва, Россия, kirill.080789@gmail.com
М.А. СЛЕПЦОВА,
ведущий специалист ФГБНУ «Дирекция научно-технических программ», г. Москва, Россия,
msleptsova@yandex.ru
М.С. ГРИШИНА,
ведущий специалист ФГБНУ «Дирекция научно-технических программ», г. Москва, Россия, grishina@fcntp.ru
Я.С. МИРОНОВА,
специалист ФГБНУ «Дирекция научно-технических программ», г. Москва, Россия, mironova@fcntp.ru
ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ МЕТОДОЛОГИИ КОМПЛЕКСНОЙ ОЦЕНКИ НАУЧНО-ТЕХНОЛОГИЧЕСКИХ ПРОЕКТОВ НА ПРИМЕРЕ ОЦЕНКИ ПРОЕКТОВ ФЦП «ИССЛЕДОВАНИЯ И РАЗРАБОТКИ ПО ПРИОРИТЕТНЫМ НАПРАВЛЕНИЯМ РАЗВИТИЯ НАУЧНО-ТЕХНОЛОГИЧЕСКОГО КОМПЛЕКСА РОССИИ НА 2014-2020 ГОДЫ»1
УДК 338.28
Комаров А. В., Шуртаков К. В., Чечёткин Е. В., Комаров К.А., Слепцова М.А., Гришина М. С., Миронова Я. С. Практическое применение методологии комплексной оценки научно-технологических проектов на примере оценки проектов ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014—2020 годы» (ФГБНУ «Дирекция НТП» Минобрнауки России, ул. Пресненский вал, д. 19, стр. 1, г. Москва, Россия, 123557) Аннотация. В статье приведены примеры практического применения методологии комплексной оценки научно-технологических проектов для оценки результатов выполняемых проектов, а также для оценки уровня технологического развития проектов, предлагаемых для участия в конкурсах, проводимых по программным мероприятиям федеральной целевой программы «Исследования и разработки по приоритетным направлениям научно-технологического комплекса России на 2014-2020 годы». Методология комплексной оценки научно-технологических проектов расширяет существующие возможности используемых в современной повседневной
1 Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации за счёт средств субсидии на выполнение государственного задания (проект № 075-01395-20-00).
результативность научной деятельности
практике методов оценки как отдельных проектов, так и совокупного портфеля проектов, реализуемых в институтах инновационного развития в рамках различных программ поддержки научно-технической деятельности. Разработанные специальные инструментальные средства, реализующие методы, модели и алгоритмы методологии комплексной оценки дают возможность наряду с определением уровня научно-технологической готовности проекта в целом определять отдельные параметры готовности проекта, такие, например, как Т1?1_, а также оценивать уровень команды проекта и ее соответствие сложности выполняемого проекта. Применение специальных инструментов в органах управления институтов инновационного развития позволит повысить эффективность реализуемых программ поддержки.
Ключевые слова: научно-технологический проект, конкурс, ПНИЭР, модель, уровень готовности технологии, ГРШ, ГО., УГТ, оценка.
001 10.22394/2410-132Х-2020-6-1-2-100-117
Цитирование публикации: Комаров А.В., Шуртаков К.В., Чечёткин Е.В., Комаров К.А., Слепцова М.А., Гришина М.С., Миронова Я.С. (2019) Практическое применение методологии комплексной оценки научно-технологических проектов на примере оценки проектов ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» // Экономика науки. Т. 6. № 1-2. С. 100-117.
© А.В. Комаров, К.В. Шуртаков, Е.В. Чечёткин, К.А. Комаров, М.А. Слепцова, М.С. Гришина, Я.С. Миронова, 2020 г.
ВВЕДЕНИЕ
□ дной из важнейших задач, которые приходится решать органам государственного управления, является оценка эффективности использования бюджетных средств, направленных на государственную поддержку инновационной деятельности [1]. Как правило, существующие методы такой оценки основываются на определении степени соответствия поддерживаемых институтами инновационного развития проектов целям и задачам института инновационного развития, правильности обоснования размеров и схемы финансирования проектов , а также вклада каждого поддержанного проекта в итоговые результаты программы поддержки научно-технической деятельности, в счет выполнения целевых индикаторов таких программ поддержки.
Подобные индикаторы программ поддержки, имеющие количественный характер, дают возможность определить макроэкономические показатели программ поддержки, такие, например, как:
• полнота выполнения программы;
• результативность и эффективность программы;
• влияние программы поддержки на социально-экономическое развитие страны.
Все эти показатели рассчитываются на основе сравнения плановых и текущих значений индикаторов. Но, как показывает анализ программ поддержки, в частности федеральной целевой программы «Исследования и разработки по приоритетным направлениям научно-технологического комплекса России на 2014-2020 годы» (далее ФЦПИР) [2], существующие индикаторы, а также методы оценки результативности, предложенные, например, в работе [3], не дают возможности сопоставить получаемые в проектах результаты с результатами проектов, поддерживаемых другими инновационного развития, а, значит оценить в целом уровень текущего состояния научно-технологического комплекса России с точки зрения готовности полученных результатов к практическому использованию в реальных секторах экономики.
Отчасти это объясняется тем, что в программах поддержки отсутствуют необходимые для такой оценки целевые показатели
и индикаторы, т.к. на этапе разработки этих программ отсутствовали необходимые методы и инструменты для комплексной оценки научно-технологических проектов.
Появление методологии комплексной оценки научно-технологических проектов или, другими словами, методологии TPRL (Technology Project Readiness Level), основные положения которой изложены в работе [4], а также разработанные для ее практического использования модели, методы, алгоритмы и специальные программные инструменты [5-9], уже сейчас позволяют расширить возможности используемых методов оценки результативности научно-технологических проектов, в т.ч. за счет:
• позиционирования выполняемых проектов на шкале технологической готовности;
• оценки уровня технологической готовности портфеля проектов, поддерживаемых институтом развития, с точки зрения использования получаемых в проектах результатов в реальных секторах экономики;
причем для этого не требуется существенного изменения сложившихся в институтах инновационного развития практик.
Подтверждение этого тезиса продемонстрируем далее на примере практического
применения методологии комплексной оценки научно-технологических проектов, выполняемых в рамках программных мероприятий ФЦПИР.
ПОРЯДОК КОМПЛЕКСНОЙ ОЦЕНКИ ТЕХНОЛОГИЧЕСКОЙ ГОТОВНОСТИ КОНКУРСНЫХ ЗАЯВОК И ВЫПОЛНЯЕМЫХ ПРОЕКТОВ ФЦПИР
В ходе практической апробации методологии ТРРЬ была проведена комплексная оценка готовности выполненных научно-технологических проектов, а также оценка уровня готовности технологий, предлагаемых для выполнения в рамках мероприятий 1.2, 1.3 и 1.4 ФЦПИР, основные требования которых к получаемых в проектах результатах представлены в таблице 1. Кроме этого была проведена оценка потенциала команды исполнителей проекта с точки зрения готовности выполнить проект заявленного уровня и группа риска выполнения проекта на основе оценки полноты набора профессиональных компетенций членов команды, необходимых для выполнения проекта заявленного уровня.
Все получаемые в ходе практической апробации методологии TPRL количественные
Таблица 1
Ожидаемые результаты проектов
Программное мероприятие
Наименование мероприятия
Мероприятие 1.2 Проведение прикладных научных исследований для развития отраслей экономики
Мероприятие 1.3 Проведение прикладных научных исследований и разработок, направленных на создание продукции и технологий Мероприятие 1.4 Проведение прикладных научных исследований, направленных на решение комплексных научно-технологических задач
Ожидаемые результаты проектов
а) новые технические (технологические) решения и результаты интеллектуальной деятельности, полученные при исследовании свойств и (или) особенностей функционирования и (или) применения материалов (устройств, процессов) с использованием созданных макетов, моделей, экспериментальных образцов, отраженные в научно-методической, нормативно-технической, эскизной технической (конструкторской, программной, технологической) документации и направленные на решение практических задач
б) проекты технических заданий на последующие прикладные научные исследования и (или) опытно-конструкторские (опытно-технологические) работы для создания новых видов продукции и технологий
а) аналогичны пункту (а) мероприятия 1.2, но рассматривают в качестве возможного результата также и опытные образцы
б) аналогичны пункту (б) мероприятия 1.2
в) комплект технической документации, отражающий новые технические (технологические) решения, подтвержденные результатами исследовательских и других испытаний моделей, макетов, натурных составных частей изделий и экспериментальных образцов продукции в целом в условиях, как правило, имитирующих реальные условия эксплуатации (потребления), и предназначенный для использования в последующем промышленном внедрении
Таблица 2
Шкала уровней технологического готовности проектов ТРР1. (уровни 1-6)
Наименование уровня
Содержание уровня
1 Выявлены и опубликованы фундаментальные принципы
2 Сформулированы технологическая концепция и/или применение возможных концепций для перспективных объектов
Даны аналитические и экспериментальные подтверждения по важнейшим функциональным возможностям и / или характеристикам выбранной концепции
Компоненты и/или макеты проверены в лабораторных условиях
Компоненты и/или макеты подсистем испытаны в условиях, близких к реальным
Модель или прототип системы/подсистемы продемонстрированы в условиях, близких к реальным
Сформулирована идея решения той или иной физической или технической проблемы, произведено ее теоретическое и/или экспериментальное обоснование
Обоснованы необходимость и возможность создания новой технологии или технического решения, в которых используются физические эффекты и явления, подтвердившие уровень ТРИ. Подтверждена обоснованность концепции, технического решения, доказана эффективность использования идеи (технологии) в решении прикладных задач на базе предварительной проработки на уровне расчетных исследований и моделирования
Проведено расчетное и/или экспериментальное (лабораторное) обоснование эффективности технологий, продемонстрирована работоспособность концепции новой технологии в экспериментальной работе на мелкомасштабных моделях устройств. На этом этапе в проектах также предусматривается отбор работ для дальнейшей разработки технологий. Критерием отбора выступает демонстрация работы технологии на мелкомасштабных моделях или с применением расчетных моделей, учитывающих ключевые особенности разрабатываемой технологии, или эффективность использования интегрированного комплекса новых технологий в решении прикладных задач на базе более детальной проработки концепции на уровне экспериментальных разработок по ключевым направлениям, детальных комплексных расчетных исследований и моделирования
Продемонстрированы работоспособность и совместимость технологий на достаточно подробных макетах разрабатываемых устройств (объектов) в лабораторных условиях
Основные технологические компоненты интегрированы с подходящими другими («поддерживающими») элементами, и технология испытана в моделируемых условиях. Достигнут уровень промежуточных/полных масштабов разрабатываемых систем, которые могут быть исследованы на стендовом оборудовании и в условиях, приближенных к условиям эксплуатации. Испытывают не прототипы, а только детализированные макеты разрабатываемых устройств Прототип системы/подсистемы содержит все детали разрабатываемых устройств. Доказаны реализуемость и эффективность технологий в условиях эксплуатации или близких к ним условиях и возможность интеграции технологии в компоновку разрабатываемой конструкции, для которой данная технология должна продемонстрировать работоспособность. Возможна полномасштабная разработка системы с реализацией требуемых свойств и уровня характеристик
Уро-
вень
3
4
5
6
значения уровня технологической готовности ТР1?1-, а также индекса ТР1?1- (см. [5]), основывались на шкале ТРР1., адаптированной к шкале УГТ, приведенной в ГОСТ [10]. В таблице 2
шкала ТРР1. представлена до 6 уровня вклю-
2
чительно 2.
Комплексная оценка выполненных проектов ФЦПИР проводилась для программного мероприятия 1.4, в рамках которого в 2014-2016 гг. выполнялись комплексные проекты, которые можно рассматривать как прообраз проектов полного цикла, выполняемых в комплексных
2 По оценке авторского коллектива паспорт ФЦПИР предполагает поддержку проектов начиная со 2-го до 5-6-го уровня ТР1?1. включительно.
научно-технических программах и проектах. Последовательность оценки приведена на схеме, представленной на рисунке 1. Специализированный инструментарий представляет собой Web-приложение, размещенное в сети Интранет ФГБНУ «Дирекция научно-технических программ», доступ к которому осуществляется по протоколу HTTP. Подробнее используемый для оценки проектов Специализированный инструментарий описан в [9]. Итогом оценки проектов являлись:
• уровень TPRL - TPRL;
• индекс TPRL—I;
• значения уровней готовности параметров TRL, MRL, ERL, ORL, BRL, CRL [4].
Экспертная оценка проекта
•Ответы на вопросы специальной анкеты в формате ДА / НЕ ПОЛНЫЙ ОТЕЕТ / НЕТ
•Перечень ответов эксперта может быть расширен
Уточнение экспертной оценки
по правилам методологии ТРРЯ
•Матрица маркеров отражает правильность и порядок выполнения тематических исследований в рамках
а ТРШ. 2
Методология ТРРИ
(Специализированный инструментарий)
Рисунок 1. Последовательность оценки выполненных проектов в рамках программного мероприятия 1.4 ФЦПИР
и
: ь
к
с 7)
Р 6) К
L 1>
4
2>
4
Оценка уровней технологической готовности конкурсных заявок проводилась для состоявшихся в конце 2019 г. конкурсов по программным мероприятиям 1.2 и 1.3 (лоты 2019-05-576-0001 и 2019-05-579-0001), а также для выполненных проектов по программному мероприятию 1.4 ФЦПИР, оцениваемым по схеме, представленной на рисунке 1. На рисунке 2 показана последовательность проводимой оценки технологической готовности конкурсных заявок.
Итогом проводимой оценки конкурсных заявок являлись:
• оценочное значение начального уровня TPRL проекта (уровень TPRL проекта на этапе проведения конкурса) - 1рг!;
• прогнозное значение ожидаемого уровня TPRL проекта (уровень TPRL перед окончанием выполнения проекта) - TPRL;
• оценка потенциала команды проекта с точки зрения уровня TPRL проекта (TPRL команды), который команда,
Конкурсная документация
пояснительная записка
сведения о квалификации
техническое задание
■и), план-график [Пга выполнения работ
Экспертная оценка
Ответы на вопросы
специальной
анкеты
Экспертная оценка
Ответы на вопросы специальной анкеты
трч г Методология "■» ТРШ
(Специализированный инструментарий)
Оценка коллектива исполнителей -потенциал команды + риск невыполнения проекта (Специализированный инструментарий)
Рисунок 2. Последовательность проводимой оценки технологической готовности конкурсных заявок
результативность научной деятельности
представленная в заявке, может достичь в принципе; • значение группы риска выполнения проекта с точки зрения полноты обладания членами команды необходимыми компетенциями (Баланс команды): 0 группа -команда не соответствует сложности проекта, 1 группа - высокий риск, 2 группа - средний риск, 3 группа - незначительный риск или риск отсутствует. Для оценки значений начального и прогнозного уровней TPRL использовался разработанный авторами Специализированный инструментарий в виде приложения табличного процессора Microsoft Excel, реализующий модель, описанную в [6], а для оценки потенциала команды проекта и баланса команды - калькулятор оценки потенциала команд [7].
Источниками информации, содержащими подтверждение необходимых фактов о проектах и конкурсных заявках, требуемыми методологией TPRL, являлись документы, хранящиеся в базе данных Системы экспертиз (https://sstp.ru), состав которых приведен в таблице 3.
Экспертные заключения и заключения организаций-мониторов использовались для оценки качества представленных фактов об основных результатах выполненных работ по проекту или основных положениях конкурсного проекта, а остальные документы служили источником дополнительных детальных сведений, которые требуются методологией TPRL, однако не содержались в экспертных заключениях и заключениях организации-монитора, т.к. формат этих документов не требовал указания этих сведений.
РЕЗУЛЬТАТЫ КОМПЛЕКСНОЙ ОЦЕНКИ НАУЧНО-ТЕХНОЛОГИЧЕСКИХ ПРОЕКТОВ, ВЫПОЛНЕННЫХ В РАМКАХ ПРОГРАММНОГО МЕРОПРИЯТИЯ 1.4
Ниже представлен пример оценки уровня готовности по оцениваемым параметрам одного из научно-технологических проектов по теме «Создание на основе полногеномного анализа и метаболической инженерии промышленных штаммов микроорганизмов - суперпродуцентов незаменимых аминокислот и их использование в технологиях производства кормовых добавок для сельского хозяйства» (соглашение № 14.626.21.0003, Головной исполнитель - ФГБУ «Государственный научно-исследовательский институт генетики и селекции промышленных микроорганизмов Национального исследовательского центра «Курчатовский институт» («ГосНИИгенетика»), Индустриальный партнер - Закрытое акционерное общество «Завод Премиксов № 1» (Белгородская область)). Приведем краткую характеристику выполненного проекта.
Основным прикладным результатом проекта является промышленный штамм-суперпродуцент лизина, важнейшей кормовой добавки для животноводства на основе продуктов глубокой переработки зерна.
Полученный штамм обладает высокой стабильностью генетической структуры при хранении и использовании в ферментационных процессах, и позволяет получать конечный продукт с содержанием 1,-лизин сульфата 75%, не имеющий аналогов на мировом рынке кормовых добавок.
Таблица 3
Состав документов, используемых для оценки уровня технологической готовности проектов и конкурсных заявок
Документы, используемые для оценки уровня технологической готовности выполненных проектов
1. Отчетная документация, представляемая Исполнителями проектов на всех этапах выполняемого проекта.
2. Заключения организации-монитора на отчетную документацию (для каждого этапа).
3. Экспертные заключения (для каждого этапа).
4. Сведения об исполнителях проектов (для каждого этапа).
Документы, используемые для оценки уровня технологической готовности конкурсных заявок
1. Техническое задание.
2. Пояснительная записка.
3. План-график выполнения работ.
4. Сведения о квалификации.
5. Экспертные заключения.
В ходе выполнения проекта подтверждена эффективность использования 1,-лизин сульфата для кормления различных сельскохозяйственных животных, включая свиней и птиц, в производственных условиях ЗАО «Белгородский бройлер» и СПК «Агрофирма Красная Звезда» (Вологодская область). Установлено, что использование этой добавки в рационах кур улучшает их продуктивные качества, позволяет увеличить на 4% среднюю массу и среднесуточные привесы свиней, повысить их сохранность на 1,3-2,9%.
Созданная кормовая добавка превосходит по эффективности импортную - лизин гидрохлорид, применяемую до сих пор в хозяйствах страны.
Специально для условий ЗАО «Завод премиксов № 1» разработан способ длительного хранения промышленного штамма и создан криобанк рабочих партий. Уже в 2017 г. (через год после завершения проекта) произведено свыше 45 тыс. тонн кормовой добавки «Лизин сульфат». В 2018 г. произведено 55 тыс. тонн лизина сульфата в год (это предполагаемая проектная мощность завода) и сопутствующие продукты, коммерциализация продуктов в настоящее время составляет свыше 3,3 млрд. руб. Налоги и отчисления в бюджеты всех уровней - более 155 млн. руб. Всего создано 700 высокотехнологичных рабочих мест. В 2019 г. объемы производства лизина сульфата достигли 80 тыс. тонн.
Отметим также, что, если в 2016 г. доля импорта лизина составляла 100%, а доля импорта кормовых ферментов 70-80%, то в итоге создания отечественного производства кормовой добавки «Лизин сульфат» доля импорта лизина
снизилась до 50%, а доля импорта кормовых ферментов (фитаза, ксиланаза, глюканаза) -до 30%.
За ряд работ по разработке и промышленному освоению технологии микробного синтеза лизина группа сотрудников головного исполнителя («ГосНИИгенетика») и индустриального партнера («Завод Премиксов № 1») удостоены Премии Правительства Российской Федерации 2018 г. в области науки и техники (распоряжение Правительства Российской Федерации от 18 декабря 2018 г. № 2827-р).
На основе изучения конкурсной заявки этого проекта были определены начальный и ожидаемый уровни технологической готовности проекта. Нами было также проведено моделирование процесса мониторинга и оценки уровня технологической готовности проекта, причём контрольные временные точки оценки были выбраны в следующей последовательности: начало проекта - середина проекта (конец 3-го этапа плана-графика выполнения проекта) - конец проекта (5-й этап плана-графика). На основе имеющихся в Системе экспертиз экспертных заключений и отчетной документации по нему, были проведены вычисления количественных значений уровня технологической готовности проекта (TPRL), индекса зрелости проекта (I), уровней готовности отдельных параметров проекта: технологической готовности (TRL), производственной готовности (MRL), инженерной готовности (ERL), организационной готовности (ORL), преимуществ и рисков (BRL), коммерческой готовности (CRL). Результаты вычислений, в сравнении с планируемыми значениями, представлены в таблице 4.
Таблица 4
Планируемые и фактические значения индикаторов уровней технологической готовности проекта 14.626.21.0003
Контрольные точки Критерии оценки зрелости проекта
TPRL I TRL MRL ERL ORL BRL CRL
Начало план 3 3 3 3 3 3 3 3
проекта факт 3 3 3 3 3 3 3 3
3-й этапа план 4 4 4 4 4 4 4 4
факт 4 4 4 4 4 4 4 4
Конец план 5 5 5 5 5 5 5 5
проекта факт 4 4,71 4,88 4,19 4,5 4,82 4,65 4,86
результативность научной деятельности
Данные фактических значений индикаторов уровней зрелости (таблица 4) TRL, MRL, ERL, ORL, BRL, CRL для контрольных точек в середине проекта и его конце представлены в графическом виде на рисунке 3.
Рисунок 3. Динамика изменения индикаторов уровней готовности отдельных параметров проекта
Из графика, представленного на рисунке 3, видно, что проект развивался сбалансированно, т.е. исполнители проекта выполняли весь необходимый состав работ, а, следовательно, проект не требовал мер оперативного реагирования со стороны Заказчика.
Оценивая результаты проекта в целом, можно сделать вывод о том, что во время его выполнения уровень технологической готовности проекта не достиг требуемого значения, однако значение индекса технологической готовности
почти достигло требуемого значения, и, в целом, данные таблицы 4 подтверждают, что данный проект является весьма успешным, причем его результаты уже используются в реальном секторе экономики.
Покажем далее какие возможности предоставляет методология TPRL для оценки портфеля проектов в органах управления институтов инновационного развития. Проведя расчёты индикаторов показателей уровней готовности для каждого из отобранных проектов, выполненных в рамках программного мероприятия ФЦПИР 1.4 аналогично тому, как это было сделано выше, мы можем определить распределение проектов в портфеле проектов по начальным и ожидаемым уровням технологической готовности на этапе проведения конкурсных процедур, а также распределение проектов по достигнутым значениям уровней технологической готовности, пример которых представлен на рисунке 4.
Для начальных уровней готовности на рисунке 4 использовано обозначение tprl. Анализируя диаграммы, представленные на рисунке 4, можно сделать вывод, что все проекты, отобранные по итогам проведенного конкурса, соответствовали паспорту ФЦПИР в отношении программного мероприятия 1.4, т.е. должны были выполняться в пределах уровней готовности 2-6, что и было подтверждено по их завершению.
Для подведения итогов выполнения программного мероприятия 1.4, мы можем определить, в какой степени выполнились прогнозы по достижению уровней готовности проектов,
а) начальные значения уровня технологической готовности
б) ожидаемые значения уровня технологической готовности
в) достигнутые значения индекса технологической готовности
Рисунок 4. Распределение проектов в портфеле проектов по уровням технологической готовности (на этапе конкурса) и индексам технологической готовности (после завершения)
входящих в портфель проектов. Такой анализ может быть проведен с использованием распределений, примеры которых приведены на рисунках 5-6.
При построении графиков на рисунке 6 к группе 1п (п=1, 2, ...,6) были отнесены все проекты, значения фактических индексов технологической готовности по проекту (I) которых удовлетворяли соотношению: п-0,5<1<п+0,5.
Из данных, представленных на рисунке 5, можно сделать вывод о том, планируемые
показатели для рассматриваемого портфеля проектов не выполнены. Действительно, проекты, у которых ожидаемые значения уровней технологической готовности имели значения 5 и 6, «перераспределились», и их уровень понизился, что может трактоваться как определенное невыполнение намеченных целей для рассматриваемого портфеля проектов. В то же время, известны оценки результативности ФЦПИР, например [3], по которым более чем в 90% выполненных проектов были получены
Рисунок 5. Соотношение планируемых и фактических уровней технологической готовности
Рисунок 6. Соотношение планируемых уровней технологической готовности и достигнутых индексов технологической готовности
результативность научной деятельности
требуемые результаты. Вспоминая, однако, что уровень технологической готовности представляет собой целочисленное значение и дает нижнюю оценку индекса технологической готовности, проанализируем данные, представленные на рисунке 6. Из графиков следует, что для проектов с ожидаемыми уровнями технологической готовности 4-6 прогноз практически оправдался, произошло увеличение доли проектов с более низкими значениями уровней технологической готовности 2-3. В данной работе мы не ставим перед собой задачу провести подробный анализ причин, по которым отдельные проекты ФЦПИР не достигают ожидаемых результатов, как это сделано, например, в работе [3], однако следует отметить, что во время выполнения анализируемого портфеля проектов в рамках программного мероприятия 1.4 произошли существенные изменения в схеме финансирования проектов со стороны Заказчика, что, естественно, не могло не отразиться на достигнутых результатах по сравнению с теми, которые были представлены исполнителями в конкурсных заявках.
Рассмотрим еще один график, анализ которого может оказаться полезен при оценке портфеля проектов. На рисунке 7 показан прогресс проектов с точки зрения увеличения
уровня и индекса технологической готовности за все время выполнения проекта.
Из данных, представленных на рисунке 7, видно, что, в основном, в проектах должно было произойти увеличение уровня технологической готовности на 2 или 3 единицы (т.е. с 2 до 4 или с 2 до 5). Однако, на самом деле произошло перераспределение с сторону уменьшения, так, например, значительно выросла доля проектов, уровень и индекс технологической готовности которой вырос всего на 1.
Представленные выше графики позволяют также определить ряд вспомогательных величин, которые могут оказаться востребованными как при планировании портфеля проектов, так и при мониторинге хода его выполнения. Из данных, представленных на рисунке 7 следует, что средневзвешенное изменение индекса технологического готовности за все время выполнения проекта составляет величину А! = 2.16, а учитывая, что время в течение которого выполняли проекты, входящие в рассматриваемый портфель проектов составляет 2,5 года, мы можем получить оценочное значение изменение индекса технологической готовности в течение одного календарного года выполнения проекта, равное 0,9/год. Естественно, что точность определения этого параметра существенным образом зависит от объема
Рисунок 7. Распределение проектов по величине изменения уровня технологической готовности
накопленной статистической информации об уже выполненных проектах. Однако для оценочных расчетов полученное значение может использоваться при решении различных задач, например, для оценки потенциального риска невыполнения проекта, связанного с чрезмерным запланированным ростом уровня технологической готовности проекта, представленного на конкурс, при весьма незначительном времени его выполнения.
Отметим еще один вывод, который может быть сделан по итогам оценки портфеля проектов по программному мероприятию 1.4 ФЦПИР. При оценке конкурсных заявок, как было показано в работе [6], можно только лишь дать оценку ожидаемого значения уровня технологической готовности проекта. Поэтому, анализируя график, представленный на рисунке 5, мы можем увидеть, что в значительной доле проектов ожидаемый уровень технологической готовности не был достигнут. Составной частью оценки конкурсных заявок и оценки уровня технологической готовности проектов является оценка научно-технологического потенциала команд проектов. Проводя такой анализ для проектов, входящих в рассматриваемый портфель, нами было установлено, что 95%3 проектов, для которых было определено несоответствие уровня команды заявленному уровню технологического развития, попали в группы проектов, представленные на рисунке 5, для которых ожидаемый уровень технологической готовности не был достигнут. Это означает, что уже на этапе проведения конкурсных процедур по отбору проектов, могут быть выявлены проекты, в которых уровень научно-технологического потенциала команды проекта не соответствует заявленному уровню технологической готовности проекта, которые, в случае признания их победителями, требуют дополнительных мер контроля за ходом их выполнения, т.к. весьма вероятно, что ожидаемый уровень технологической готовности достигнут не будет.
3 В остальных 5% проектов за счет использования кадрового потенциала Индустриальных партнеров во время выполнения проекта ожидаемый уровень технологической готовности был достигнут.
РЕЗУЛЬТАТЫ ОЦЕНКИ УРОВНЯ ТЕХНОЛОГИЧЕСКОЙ ГОТОВНОСТИ КОНКУРСНЫХ ЗАЯВОК, ПРЕДСТАВЛЕННЫХ НА КОНКУРСЫ ПО ПРОГРАММНЫМ МЕРОПРИЯТИЯМ 1.2 И 1.3 ФЦПИР
Оценка технологического уровня конкурсных заявок была проведена для заявок, поданных для участия в конкурсе по программным мероприятиям ФЦПИР 1.2 (лот 2019-05-5760001 - http://fcpir.ru/participation_in_program/ contests/list_of_contests/6_competitionfinish ес1/2019-05-576-0001/) и 1.3 (лот 2019-05579-0001 - http://fcpir.ru/participation_in_ program/contests/list_of_contests/6_competit ionfinisheC/2019-05-579-0001/). Для участия в конкурсе по лоту 2019-05-576-0001 были поданы 382 заявки, а по лоту 2019-05-5790001-202 заявки.
Для оценки уровня технологического развития конкурсной заявки использовалась анкета, соответствующая упрощенной модели оценки технологического уровня, изложенной в [6]. Оценка проводилась по следующим критериям:
1. Состояние проекта;
2. Научная проработка проекта;
3. Отличия от существующих решений;
4. Обращение с интеллектуальной собственностью;
5. Патентные исследования;
6. Потенциальный объём рынка;
7. Экономика проекта;
8. Производственная реализуемость;
9. Компетенции команды (совместно с индустриальным партнером).
Каждая заявка в зависимости от полноты достижения критерия, оценивалась по 5-ти балльной шкале для каждого критерия. Рассчитанные с помощью модели [6] значения затем определяли оценки уровней ТР!?!. и И?!.. Отметим, что, если в результате вычислений оказывалось, что рассчитанное значение равно, например, 2, то это означало, что уровень технологического развития оцениваемой конкурсной заявки не ниже ТРР!_3 (ТР!_3). Для каждой конкурсной заявки также была проведена оценка научно-технического потенциала
конкурсной заявки с использованием калькулятора оценки потенциала команд [7].
В рамках разработанной в [6] модели можно определять уровни готовности отдельных параметров TRL, MRL, ERL, ORL, BRL, CRL, используемых для оценки проектов в методологии TPRL за счет использования комбинаций вышеуказанных критериев и методов для расчета полученных значений. Учитывая, что на выполнение проекта победителями конкурсов отводится всего 1 год, ожидать от них значительного прогресса по шкале TPRL не приходится, поэтому нами также была проведена оценка параметра TRL по следующей комбинации критериев: критерии № 1-4 и № 9.
Результаты оценки заносились в таблицу в формате Microsoft Excel (таблица 5).
В таблице 5 используются следующие параметры:
• статус (0 - отклонена от участия в конкурсе, 1 - принята, 2 - победитель);
• потенциал команды с точки зрения ожидаемого уровня TPRL проекта (TPRL команды), который команда, представленная в заявке, может достичь в принципе;
• группа риска выполнения проекта с точки зрения полноты обладания членами команды необходимыми компетенциями (баланс команды) (0 группа - команда не соответствует уровню сложности проекта, 1 группа - высокий риск, 2 группа средний риск, 3 группа - незначительный риск или риск отсутствует;
• оценка начальных уровней технологического развития по шкале TPRL/TRL (таблица 1) на этапе проведения конкурса (Заявка);
• оценка ожидаемых (прогнозных) значений TPRL/ TRL по окончанию проекта (Прогноз).
• Кроме этого, в таблице автоматически рассчитываются значения изменений показателей TPRL и TRL - ATPRL и ATRL.
Аналогично тому, как мы это делали ранее, покажем, какие возможности предоставляет методология TPRL для оценки совокупности
конкурсных заявок в органах управления институтов инновационного развития на этапе проведения конкурсного отбора проектов для оказания финансовой поддержки.
Все приведенные далее иллюстрации и примеры относятся только к заявкам, допущенным к участию в конкурсе (по лоту 2019-05-576-0001 допущено 308 заявок, по лоту 2019-05-579-0001 допущено 157 заявок), в т.ч. отдельные примеры для заявок победителей (по лоту 2019-05-576-0001-58 заявок-победителей, по лоту 2019-05-5790001-38 заявок-победителей), во всех примерах и иллюстрациях для удобства сравнения приводятся относительные величины. Выше мы уже мы отмечали кратковременность выполнения проекта, поэтому для демонстрации возможностей методологии TPRL целесообразно остановиться на оценке уровня готовности технологии TRL (УГТ), предложенной для выполнения в проекте.
Как и ранее, определим распределение начальных и ожидаемых значений уровней технологического развития конкурсных заявок, в т.ч. для заявок-победителей. Подобные распределения для программных мероприятий 1.2 и 1.3 представлены на рисунках 8—11.
На диаграммах, представленных на рисунках 8-9 для начальных уровней технологической готовности, использовано обозначение Н, которое мы будем применять и далее.
Анализируя данные представленных на рисунках 8—11 диаграмм, заметим, что распределение заявок-победителей как по начальным уровням готовности технологии, так и для ожидаемых уровней, практически совпадает с аналогичными распределениями для всей совокупности заявок, как по программному мероприятию 1.2 ФЦПИР, так и по программному мероприятию 1.3 ФЦПИР. Подавляющее число заявок, в т.ч. заявок-победителей, для обоих программных мероприятий ФЦПИР имеет начальный уровень технологического развития Ы1, что, конечно,
Таблица 5
Форма сведений для расчета технологического уровня конкурсной заявки
Статус заявки
TPRL команды
Баланс команды (группа)
Заявка Прогноз
TPRL TRL TPRL TRL
а) все заявки б) заявки-победители
Рисунок 8. Распределение конкурсных заявок по уровню готовности технологии на этапе конкурса (программное мероприятие 1.2)
а) все заявки б) заявки-победители
Рисунок 9. Распределение конкурсных заявок по уровню готовности технологии на этапе конкурса (программное мероприятие 1.3)
а) все заявки б) заявки-победители
Рисунок 10. Распределение конкурсных заявок по ожидаемому уровню готовности технологии (программное мероприятие 1.2)
результативность научной деятельности
| ТК1_2 | Т1?1_3 | ТК1_4
11К 7 | ТКЬЗ
а) все заявки
б) заявки-победители
Рисунок 11. Распределение конкурсных заявок по ожидаемому уровню готовности технологии (программное мероприятие 1.3)
выходит за рамки ФЦПИР, т.к. данный уровень характеризует проекты, в которых еще требуются существенные фундаментальные и поисковые исследования. Вместе с тем, по ожидаемым уровням готовности технологий, конкурсные проекты в подавляющем большинстве удовлетворяют паспорту ФЦПИР в отношении программных мероприятий 1.2 и 1.3. Из рисунков 10-11 видно, что для программного мероприятия 1.3 доля проектов с ожидаемым уровнем готовности технологии Ы2 существенно ниже, чем доля таких же проектов по программному мероприятию 1.2. Отметим еще один выявленный казусный случай, который относится к проекту, допущенному к участию в конкурсе и имеющим нулевой уровень готовности технологии. Этот пример говорит о том, что поданная конкурсная заявка имеет все признаки формального составления требуемых документов в надежде на то, что проект может одержать случайную победу в конкурсе.
Рассмотрим далее, как распределились конкурсные заявки по ожидаемым уровням готовности технологий в зависимости от начальных значений уровней готовности технологий конкурсных заявок. Полученные зависимости для рассматриваемых в данном разделе конкурсных заявок представлены на графиках на рисунках 12-13.
Графики, представленные на рисунках 12-13, показывают, какой прогресс может быть достигнут в проектах с точки зрения роста уровня готовности разрабатываемых в них технологий. Учитывая, что ранее мы определили средневзвешенный рост уровня технологической готовности проектов в ФЦПИР, равный величине 0,9/год, можно предположить, что рост уровня готовности технологии, равный 2, показанный на рисунках 12б) и 13б), характеризует несколько завышенные обещания победителей конкурсов по соответствующим программным мероприятиям, или, по крайней мере, к этим проектам
а) все заявки б) заявки-победители
Рисунок 12. Зависимость ожидаемых уровней готовности технологий конкурсных заявок от их начальных значений (программное мероприятие 1.2)
а) все заявки б) заявки-победители
Рисунок 13. Зависимость ожидаемых уровней готовности технологий конкурсных заявок от их начальных значений (программное мероприятие 1.3)
должно быть уделено повышенное внимание, т.к. существует вероятность получения результатов, не обладающим качеством, которое должно соответствовать требованиям как методологии TPRL, так и метода TRL (УГТ).
Еще один способ применения методологии TPRL с точки зрения проведения аналитических исследований при оценке технологического уровня конкурсных заявок связан с оценкой научно-технологического потенциала команд проектов, представленных в заявках.
На рисунках 14—15 показаны распределения конкурсных заявок по группам риска невыполнения проектов из-за «дефектов» команд проектов.
Анализируя диаграммы, представленные на рисунках 14—15, можно сделать вывод, что несмотря на то, что при определении победителей по программным мероприятиям 1.2 и 1.3 были отобраны проекты с более высоким
качеством команд проектов (были отсеяны проекты, в которых команды были отнесены к группе с высоки риском невыполнения проекта), среди победителей имеются команды, уровень научно-технологического потенциала которых не соответствует сложности решаемых задач, а, значит, такие проекты также требуют к себе повышенного внимания во время их выполнения. Отметим также, что команды большинства проектов по обоим программным мероприятиям были отнесены к группе с низким риском невыполнения проекта, что свидетельствует о том, что при планировании этих проектов вопросы формирования команды решались на достаточно высоком уровне.
И, наконец, рассмотрим зависимости, описывающие распределение команд проектов по группам риска невыполнения проекта в зависимости от сложности решаемых задач или, другими словами, от ожидаемых уровней
а) все заявки б) заявки-победители
Рисунок 14. Распределение конкурсных заявок по группам риска (программное мероприятие 1.2)
а) все заявки б) заявки-победители
Рисунок 15. Распределение конкурсных заявок по группам риска (программное мероприятие 1.3)
готовности разрабатываемых в проектах технологий. Примеры таких зависимостей представлены на рисунках 16-17.
Анализ таких зависимостей помогает понять, в каких именно заявках существует высокий риск невыполнения проекта из-за «дефектов» команд или же команда проекта вообще не соответствует уровню сложности решаемых задач.
Например, как в программном мероприятии 1.2 и 1.3 ФЦПИР (рисунки 16б), 17б)), в заявках, направленных на разработку технологий 4 уровня, существуют команды, научно-технический потенциал которых не соответствует этому уровню, в частности, в командах подобных проектов имеется дисбаланс необходимых компетенций, у команд нет опыта выполнения
а) все заявки
б) заявки-победители
Рисунок 16. Распределение конкурсных заявок по группам риска в зависимости от ожидаемых уровней готовности технологии (программное мероприятие 1.2)
а) все заявки б) заявки-победители
Рисунок 17. Распределение конкурсных заявок по группам риска в зависимости от ожидаемых уровней готовности технологии (программное мероприятие 1.2)
проектов такого уровня сложности, нет устойчивых и подтвержденных связей с Индустриальными партнерами, или же научный и технический уровень конкретных участников команд не достаточно высок.
Анализ графиков, представленных на рисунках 16-17, также дает основу для реверсивного анализа полученных при анализе технологического уровня каждой из конкурсных заявок параметров. Действительно, учитывая данные графиков, представленных на рисунках 12-13, с одной стороны, и рисунках 16-17 с другой, мы можем определить конкретные проекты, которые требуют повышенного к ним внимания (по номерам конкурсных заявок). В рассматриваемых нами случаях, команды не соответствующие сложности решаемых задач, должны получить результаты, развивающие в проектах уровни готовности технологии не менее чем на 2 единицы, а это, как мы указали ранее, с высокой степенью уверенности позволяет считать, что их ожидания являются завышенными.
Естественно, что полученные с использованием Специализированных средств оценки технологического уровня конкурсных заявок, позволяют провести рейтингование конкурсных заявок, как отдельно по возрастанию/убыванию значений ТР^/Т!!!., так и в сочетании этих параметров с другими, которые могут использоваться в конкретных институтах инновационного развития, например, с учетом срока выполнения проекта, объема финансирования и ряда других.
ЗАКЛЮЧЕНИЕ
В статье описаны некоторые результаты практического применения методологии комплексной оценки научно-технологических проектов ТР!!!. на примере оценки проектов и конкурсных заявок, представляемых на конкурсы по программным мероприятиям ФЦПИР. Использование данной методологии в повседневной практике органов управления институтов инновационного развития в значительной степени повышает возможности проведения ими различных аналитических исследований, а также дает исходную информацию для разработки новых способов оценки эффективности их деятельности в сфере поддержки выполнения научно-технологических проектов как за счет оценки результативности отдельных проектов, так и совокупности поддерживаемых проектов.
Разработка таких способов не требует существенных усилий и ресурсов, т.к. методология ТР!?!. в значительной степени ориентирована на использование критериев, показателей и индикаторов, применяемых для оценки результативности проектов и программ поддержки, которые широко используются в современной практике.
Описанные примеры показывают, как можно получать и анализировать различные зависимости и распределения проектов и конкурсных заявок при решении задач отбора проектов и мониторинга за ходом их выполнения.
ЛИТЕРАТУРА
1. Постановление Правительства РФ от 31.03.2018 г. № 392 (2018) Об утверждении правил оценки эффективности, особенностей определения целевого характера использования бюджетных средств, направленных на государственную поддержку инновационной деятельности, а также средств из внебюджетных источников, возврат которых обеспечен государственными гарантиями, и применяемых при проведении такой оценки критериев / Те-хэксперт. http://docs.cntd.ru/document/557014306.
2. Постановление Правительства РФ от 21.05.2013 г. № 426 (2013) О федеральной целевой программе «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» / Гарант. http://base.garant.ru/70385450.
3. Чеченкина Т.В. (2017) Оценка результативности проектов прикладных исследований, финансируемых в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» // Науковедение. Т. 9. № 3.
4. Петров А.Н., Сартори А. В., Филимонов А. В. (2016) Комплексная оценка состояния научно-технических проектов через уровень готовности технологий // Экономика науки. Т. 2. № 4. С.244-260.
5. Комаров А.В., Петров А. Н, Сартори А. В. (2018) Модель комплексной оценки технологической готовности инновационных научно-технологических проектов // Экономика науки. Т. 4. № 1. С. 47-57.
результативность научной деятельности
6. Петров А.Н., Комаров А.В. (2020) Оценка уровня технологической готовности конкурсных заявок с использованием методологии TPRL // Экономика науки. Т. 6. № 1-2. С. 88-99.
7. Комаров А.В., Слепцова М. А., Чечеткин Е. В., Комаров К.А. (2020) Специализированные инструменты для оценки потенциала команды научно-технического проекта // Экономика науки. Т. 6. № 1-2. С. 75-87.
8. Комаров А.В., Слепцова М.А, Чечеткин Е. В, Шур-таков К.В., Третьякова М.В. (2017) Оценка команды исполнителей научно-технологического проекта // Экономика науки. Т. 3. № 4. С. 250-61.
9. Жебель В. В., Комаров А. В., Комаров К. А., Шуртаков К.В. (2018) Программное средство для комплексной оценки технологической готовности инновационных научно-технологических проектов // Экономика науки. Т. 4. № 1. С. 58-68.
10. Приказ Федерального агентства по техническому регулированию и метрологии от 29.12.2017 г. № 2128-ст (2017) ГОСТ Р 58048-2017. Трансфер технологий. Методические указания по оценке уровня зрелости технологий / Техэксперт. http://docs.cntd.ru/document/1200158331.
REFERENCES
1. Decree of the Government of the Russian Federation dated 31.03.2018 № 392 (2018) On the approval of the rules for evaluating the effectiveness of determining the target value of the use of budgetary funds, state support funds and innovative activities, as well as funds from extrabudgetary sources that provide a state guarantee and are used during such criteria evaluations / Tekhekspert. http://docs.cntd.ru/document/557014306.
2. Decree of the Government of the Russian Federation dated 21.05.2013 № 426 (2013) On the federal target program «Research and development in priority areas for the development of the scientific and technological complex of Russia for 2014— 2020» / Garant. http://base.garant.ru/70385450.
3. Chechenkina T.V. (2017) Evaluation of the effectiveness of applied research projects funded under the federal target program «Research and development in priority areas for the development of the scientific and technological complex of Russia for 2014-2020» // Naukovedenie. Vol. 9. № 3.
4. Petrov A.N, Sartori A. K, Filimonov A. V (2016) A comprehensive assessment of the state of scientific and technical projects through the level of technology readiness // The Economics of Science. Vol. 2. № 4. P. 244-260.
5. Komarov A.V., Pefrov A.N, Sartori A. V (2018) The model of integrated assessment of technological
readiness of innovative scientific and technological projects // The Economics of Science. Vol. 4. № 1. P. 47-57.
6. Petrov A.N, Komarov A. V. (2020) Estimaton of technology readiness level of tender proposal in terms of methodology TPRL // The Economics of Science. Vol. 6. № 1-2. P. 88-99.
7. Komarov A. V, Slepfsova M. A., Chechetkin E. V, Komarov K.A. (2020) Specialized tools to evaluate the potential of a R&D project team // The Economics of Science. Vol. 6. № 1-2. P. 75-87.
8. Komarov A. V., Slepcova M.A, Chechetkin E. V., Shurtakov K V., Tretjakova M.V. (2017) Performance evaluation of the scientific-technical project's executive team // The Economics of Science. Vol. 3. № 4. R. 250-61.
9. Jebel V.V., Komarov A. V., Komarov K. A., Shurtakov K. V. (2018) A software tool for a comprehensive assessment of technological readiness of innovative scientific and technological projects // The Economics of Science. Vol. 4. № 1. P. 58-68.
10. Order of the Federal Agency for Technical Regulation and Metrology dated 29.12.2017 № 2128-st (2017) GOST R58048-2017. Technology transfer. Guidelines for assessing the maturity level of technology / Tekhekspert. http://docs.cntd.ru/docu-ment/1200158331.
UDC 338.28
Komarov A. V., Shurtakov K. V, Chechetkin E. V, Komarov K.A., Sleptsova M.A., Grishina M.S, Mironova Y.S. Practical application of the methodology for the comprehensive assessment of scientific and technological projects using the example of the evaluation of the federal target programs «Research and development in priority areas for the development of the scientific and technological complex of Russia for 2014—2020» (Directorate of State Scientific and Technical Programmes, Presnensky Val Street, 19, building 1, Moscow, Russia, ¡23557)
Abstract. The article provides examples of the practical application of the methodology for the integrated assessment of scientific and technical projects to assess the results of completed projects, as well as to assess the level of technological development of projects carried out according to the program activities of the federal target program "Research and development in priority areas of the Russian scientific and technological complex for 2014-2020 years". A methodology for the comprehensive assessment of scientific and technical projects and integrated project portfolios, including integrated innovative development programs as part of various programs to support scientific and technical activities. The developed special tools, algorithms and integrated assessment algorithms make it possible to determine the level of project requirements, for example, TRL, as well as assess the level of the project team and its complexity. ongoing project. The use of special tools in the management bodies of innovation development institutions will increase the effectiveness of ongoing support programs.
Keywords: scientific and technological project, competition, R&D, model, technology readiness level, TPRL, TRL, assessment.
