CC BY
18
вопросы инновационной экономики
Том 11 • Номер 4 • Октябрь-декабрь 2021 ISSN 2222-0372 Russian Journal of Innovation Economics
>
Первое
экономическое издательство
Алгоритм ранжирования научно-исследовательских проектов и разработок университета в зависимости от уровня их коммерческого потенциала
Букач Б.А. 1, Митус К.Н. 1, Писарюк С.Н. 1, ДреботА.М. 1
1 Севастопольский государственный университет, Севастополь, Россия
аннотация:_
В статье рассмотрен алгоритм ранжирования научно-исследовательских проектов и разработок университета в зависимости от степени их коммерческой реализуемости. В основу алгоритма положена адаптированная под нужды вузов методика сбалансированного подхода к оценке готовности проектов TPRL (Technology Project Readiness Level). Авторами представлено целостное представление о готовности к коммерциализации разработок прикладного характера научными коллективами университета как совокупности завершенных процессов оценки технологической (TRL), производственной и организационной (MRL), рыночной (CRL) готовности проекта.
ФИНАНСИРОВАНИЕ. Исследование выполнено при финансовой поддержке внутреннего гранта ФГАОУ ВО «Севастопольский государственный университет» в рамках научного проекта № 34/06-31.
ключевые слова: инновации, научно-исследовательский проект, коммерциализация, технологическая готовность, производственная готовность, организационная готовность, рыночная готовность, экспертные оценки.
Algorithm for ranking R&D projects at the university according to their commercial potential
Bukach B.A. 1, Mitus K.N. 1, PisaryukS.N. 1, Drebot A.M. 1
1 Sevastopol State University, Russia
введение
Ранжирование и выбор наиболее перспективных научно-технических проектов является важным элементом организации научной деятельности, финансовой и инновационной стратегии организации. В современных социально-экономических реалиях актуализируется вектор инновационного развития организаций, вопросы обеспечения ее конкурентоспособности. Инновационные проекты являются особыми инвестиционными проектами, а следовательно, их оценка требует специальных подходов, сочетания количественных и качественных методов, методов прогнозирования, а также проведения сравнительного многокритериального анализа на основе экспертных оценок. Оценка
и ранжирование научно-исследовательских проектов усложняются новизной продукта, более высокими технологическими и коммерческими рисками, правовыми институциональными особенностями и др.
Методики оценки научно-исследовательских проектов представлены в научных работах таких отечественных авторов, как Бухарин С.Н. [1] (Bukharin, Gukasov, Lazarenko, 2011), Гусев А.Б. [2] (Gusev, Shiryaev, Kornilov, 2011), Качак В.В. [3] (Kachak, Zhurikhin, Maslennikov, 2012), Ларин С.Н. [4] (Larin, Gerasimova, Ilmenskaya, 2014), Лившиц В.Н. [5] (Livshits, Panov, Tishchenko et al., 2015), Осташков А.В. [6] (Ostashkov,
2011), Проничкин С.В. [7] (Pronichkin, Tikhonov, 2014), Тихонов, Н.А. [8] (Tikhonov,
2012), Федотов А.В. [9] (Fedotov, Vasetskaya, 2013), Кацко И.А. [10] (Mitus, Katsko, 2015) и пр., а также многих зарубежных исследователей [11-19] (Aiman-Smith, Goodrich, Roberts, Scinta, 2005; Argyres, Porter, 1998; Claver-Cortés, Zaragoza-Sáez, González Illescas, 2018; Graettinger, Caroline, et al., 2002; Justel, Justel, Vidal, Arriaga, Franco, Val-Jauregi, 2007; Sabadka, 2012; Verena, 2005).
Несмотря на наличие в научной и практической литературе широкого спектра предлагаемых/реализуемых методик оценки готовности научных разработок, на наш взгляд, основной проблемой является их обособленность. Это приводит к отсутствию логической последовательности процесса создания технического предложения в результате наличия востребованности со стороны рынка и необходимости определе-
abstract:_
The algorithm for ranking R&D projects at the university according to their commercial potential is considered in the article. This algorithm is based on the methodology of a balanced approach to assessing the readiness of projects TPRL (Technology Project Readiness Level) adapted to the needs of universities. The authors presented a holistic view of the readiness for the commercialization of applied developments by the university research teams as a set of completed assessment processes for technological (TRL), production and organizational (MRL), and market (CRL) project readiness. ACKNOWLEDGMENTS. The research was carried out with the financial support of an internal grant of the Sevastopol State University in the framework of the scientific project No. 34/06-31.
keywords: innovation, research project, commercialization, technological readiness, production readiness, organizational readiness, market readiness, expert evaluations
JEL Classification: i 23, 122, i26, 031 Received: 12.11.2021 / Published: 24.12.2021
© Author(s) / Publication: PRIMEC Publishers
For correspondence: Bukach B.A. (BABukach@sevsu.ru)
citation:_
Bukach B.A., Mitus K.N., Pisaryuk S.N., Drebot A.M. (2021) Algoritm ranzhirovaniya nauchno-issledo-vatelskikh proektov i razrabotok universiteta v zavisimosti ot urovnya ikh kommercheskogo potentsiala [Algorithm for ranking R&D projects at the university according to their commercial potential]. Voprosy innovatsionnoy ekonomiki. 1 1. (4). - 1627-1642. doi: 10.18334/vinec. 11.4.113815
ния возможности практической реализации предложения, то есть оценки организационно-производственного потенциала.
Цель исследования. Целью данной статьи является исследование и разработка алгоритма многокритериального оценивания и отбора научно-исследовательских проектов и разработок в зависимости от уровня их коммерческого потенциала.
В основе алгоритма лежит целостное представление о готовности к коммерциализации разработок прикладного характера научными коллективами университета, который в современных реалиях становится своеобразным фундаментом инновационного развития, формирования человеческого капитала, роста качества жизни, преобразований в обществе [20] (Fedorchenko, Garmashova, Drebot, 2021). Алгоритм представляет собой совокупности завершенных процессов оценки технологической, производственной и организационной, рыночной готовности.
Алгоритм включает в себя два этапа (блока), которые предполагают наличие критериев оценки с соответствующими весами, полученными экспертным путем. Веса с течением времени могут корректироваться в соответствии с тенденциями на рынке и изменением стратегии университета. С целью обоснованности оценки необходимо формирование двух экспертных групп: по тематическому направлению в области технических наук и по оценке готовности разработки к рыночной коммерциализации. Первая группа отвечает за оценку технологической готовности (TRL) [8, 13, 15, 16] (Tikhonov, 2012; Graettinger,, Caroline, et al., 2002), производственной и организационной готовности (MRL), вторая - за оценку рыночной готовности (CRL).
Необходимость разделения алгоритма на два блока продиктована первичностью определения базовых аспектов технологической готовности при обязательном условии рыночной готовности. Поэтому на первом этапе (в рамках первого блока-отсечки) оцениваются научные разработки по следующим критериям: А TRL (блок А направление TRL) - 4 критерия:
1. Востребованность.
2. Новизна.
об авторах:_
Букач Борис Александрович, директор Института финансов, экономики и управления, кандидат экономических наук, доцент (BABukach0sevsu.ru)
Митус Ксения Николаевна, заместитель директора по учебно-научной работе Института финансов, экономики и управления, кандидат экономических наук (nico1aevna0mai1.ru)
ПисарюкСветлана Николаевна, доцент кафедры менеджмента и бизнес-аналитики, кандидат экономических наук, доцент (marketyanka0mai1.ru)
ДреботАлександр Михайлович, старший преподаватель кафедры «Экономика предприятия» (drebot_ am0mai1.ru)
цитировать статью:_
Букач Б.А., Митус К.Н., Писарюк С.Н., Дребот А.М. Алгоритм ранжирования научно-исследовательских проектов и разработок университета в зависимости от уровня их коммерческого потенциала // Вопросы инновационной экономики. - 2021. - Том 11. - № 4. - С. 1627-1642. doi: 10.18334/vinec. 11.4.113815
3. Техническая реализуемость.
4. Глубина научной проработки.
A CRL (блок А направление CRL) - 2 критерия:
1. «Боль» / проблема потребителя.
2. Прогнозное значение экономического эффекта (NPV).
Все критерии первого этапа алгоритма оцениваются по 10-балльной шкале и имеют весовые коэффициенты (веса), которые будут рассчитаны ниже. Минимальная оценка, которую может получить научная разработка на первом этапе анализа, - 0 баллов, максимальная оценка (без учета весов) - 60 баллов.
Научные разработки, получившие нулевую оценку хотя бы по одному из критериев, признаются не готовыми к рыночной коммерциализации и отсеиваются по итогам первого этапа.
После отсечки на первом этапе нежизнеспособных и экономически нецелесообразных проектов научных коллективов необходим переход к детализированной оценке технологической, производственной и организационной, рыночной готовности. Второй этап анализа (блок Б) предполагает оценку по следующим направлениям:
1. Б TRL (блок Б направление TRL) - 9 критериев оценки технологической готовности:
• соответствия стратегии развития;
• масштаба;
• продуктоемкости;
• стадии разработки;
• институционально-правового статуса;
• интеллектуального потенциала научных кадров;
• полноты описания спецификации;
• наличия MVP (Minimal Viable Product - минимально жизнеспособного продукта);
• длительности жизненного цикла.
2. Б MRL (блок Б направление MRL) - 7 критериев оценки производственной и организационной готовности:
• наличие организационно-правовой структуры;
• партнеры;
• соответствия стандартам;
• профессиональные ресурсы (кадры);
• финансирование;
• материально-технические ресурсы;
• производственные риски.
3. Б CRL (блок Б направление CRL) - 11 критериев оценки рыночной готовности:
• ценностное предложение;
• конкурентные преимущества;
• уровень конкуренции;
• объем рынка;
• тенденции развития рынка;
• целевая аудитория;
• конкурентная цена;
• доступность каналов продвижения;
• финансовые показатели эффективности;
• наличие бизнес-модели;
• рыночные риски.
Все критерии второго этапа алгоритма оцениваются по 10-балльной шкале и имеют весовые коэффициенты (веса), которые будут рассчитаны ниже. Минимальная оценка, которую может получить научная разработка на втором этапе анализа, - 0 баллов, максимальная оценка (без учета весов) - 270 баллов.
По итогам первого и второго этапов анализа производится интегральная оценка готовности научных разработок к рыночной коммерциализации. Минимальная оценка, которую может получить разработка по результатам анализа, составляет 0 баллов, максимальная оценка (без учета весов) - 330 баллов.
Принципиальная схема алгоритма оценки готовности к рыночной коммерциализации разработок организации представлена на рисунке 1.
Путем определения интегральной оценки степени готовности разработки к коммерциализации определяется ее принадлежность к одной из категор1. Разработка не готова к коммерциализации (красная зона: 0-40%, неперспективный проект). Балльный интервал составит от 0 до 132 баллов без учета весовых коэффициентов.
1. Разработка готова к коммерциализации частично (желтая зона: 41-80%, перспективный проект). Балльный интервал составит от 133 до 264 баллов без учета весовых коэффициентов.
2. Разработка полностью готова к коммерциализации (зеленая зона: 81-100%, приоритетный проект). Балльный интервал составит от 265 до 330 баллов без учета весовых коэффициентов.ий:
На основе принадлежности проекта к одной из категорий дается экспертное заключение о степени готовности разработки к рыночной коммерциализации.
Несмотря на относительную простоту и однозначность результата предложенной ранее методики, она обладает одним существенным недостатком: влияние всех показателей на конечный результат одинаково, что во многом противоречит их содержанию. Устранить указанный недостаток можно включением в методику весовых коэффициентов.
Для определения весовых коэффициентов представленных выше критериев была проведена экспертная оценка нескольких научно-исследовательских проектов. В качестве экспертов выступали научные сотрудники, исследователи, разработчики и участники научно-исследовательских проектов. В опросе принимали участие 50 экспертов.
Рисунок 1. Принципиальная схема алгоритма оценки готовности к рыночной коммерциализации
разработок Источник: составлено авторами.
Для оценки важности отдельных блоков и критериев методики экспертами проведено ранжирование критериев по степени важности в рамках каждого блока.
На первом этапе экспертам было предложено проранжировать отдельные блоки методики с точки зрения степени их влияния на итоговую оценку уровня коммерческого потенциала научно-исследовательских проектов и разработок. Наиболее важному фактору следовало присвоить балл 1, наименее важному - 4. Блоки методики по значимости распределились так, как представлено в таблице 1.
Таблица 1
Расположение факторов по значимости
Сумма рангов
Блок Б - CRL 78
Блок А 86
Блок Б - TRL 168
Блок Б - MRL 168
Источник: составлено авторами.
Для оценки степени согласованности мнений экспертов рассчитаем коэффициент конкордации по формуле 1:
125
т2 (пз—п)
(1)
где т - число наблюдений; Б - сумма квадратов отклонений суммы рангов по п факторам от их средней арифметической. В нашем случае Б = 7428, п = 4, т = 50. Тогда коэффициент конкордации равен:
12 7428
IV:
: 0.594
502(43— 4)
Значение коэффициента конкордации, равное 0,594, говорит о наличии средней степени согласованности мнений экспертов. Для оценки значимости коэффициента конкордации рассчитаем критерий согласования Пирсона по формуле 2:
12,9
тп(п+1)
(2)
X2 = 50(4-1)0,594 = 89,14
Вычисленный х2 сравним с табличным значением для числа степеней свободы К = п-1 = 4-1 = 3 и при заданном уровне значимости а = 0,05.
Так как х2расчетный (89,14) больше табличного (7,81473), то Ш = 0,594 - величина не случайная, а потому полученные результаты могут использоваться в дальнейших исследованиях. Иными словами - пользоваться результатами экспертизы можно.
Чтобы определить весовой коэффициент каждого блока, воспользуемся формулой 3:
(3)
где У[ - весовой коэффициент блока 1; г\ - сумма рангов по блоку 1. Значения весовых коэффициентов отдельных блоков модели представлены в таблице 2.
Таблица 2
Весовые коэффициенты отдельных блоков модели
Сумма рангов Веса (важность)
Блок Б - СР1_ 78 28,13
Блок А 86 27,60
Блок Б - ТР1. 168 22,13
Блок Б - МР1. 168 22,13
Итого 500 100
Источник: составлено авторами.
На втором этапе эксперты аналогично оценивали весовые коэффициенты (коэффициенты важности) по отдельным критериям в рамках блоков. Значения коэффициентов конкордации и критерий Пирсона представлены в таблице 3.
Таблица 3
Коэффициенты конкордации и критерий Пирсона
Коэффициент конкордации Критерий Пирсона
расчетное значение табличное значение
Блок А 0,53 57,64 11,07
Блок Б - TRL 0,51 165,07 15,51
Блок Б - MRL 0,541 129,45 12,59
Блок Б - CRL 0,645 122,58 18,31
Источник: составлено авторами.
По таблице 3 видно, что результатами экспертизы пользоваться можно и уровень согласованности мнений экспертов достаточен. Далее, в таблице 4 представим весовые коэффициенты для критериев по блокам методики и сводный (суммарный) вес критерия.
Таблица 4
Расчет сводных весов критериев блоков методики
№ Критерий сумма Вес критерия Вес Сводный вес
рангов в границах блока блока критерия
Блок А «Боль»/ проблема потребителя 137 17,39 27,60 4,799
Востребованность 104 18,02 4,973
Новизна 190 16,38 4,520
Техническая реализуемость 189 16,40 4,525
Глубина научной проработки 214 15,92 4,394
Прогнозное значение эконо- 215 15,90 4,389
мического эффекта (NPV)
Итого 1049 100
Блок Б Соответствие стратегии раз- 167 11,57 22,13 2,561
- TRL вития
Масштаб 359 10,50 2,324
Продуктоемкость 289 10,89 2,411
Стадия разработки 187 11,46 2,536
Институционально-правовой 321 10,71 2,371
статус
Интеллектуальный потенциал 268 11,01 2,437
научных кадров
Полнота описания специфи- 174 11,53 2,552
кации
Наличие MVP 128 11,79 2,609
Длительность жизненного 353 10,54 2,332
цикла
Итого 2246 100
Окончание табл. 4
№ Критерий Сумма Вес критерия Вес Сводный вес
рангов в границах блока блока критерия
Блок Б Наличие организационно- 288 13,24 2,930
- МР1. правовом структуры
Партнеры 248 13,71 3,035
Соответствие стандартам 177 14,56 3,223
Профессиональные ресурсы (кадры) 188 14,43 22,13 3,194
Финансирование 95 15,54 3,439
Материально-технические 137 15,04 3,328
ресурсы
Производственные риски 267 13,49 2,985
Итого 1400 100
Блок Б Ценностное предложение 225 9,32 2,622
- СР1_ Конкурентные преимущества 182 9,45 2,658
Уровень конкуренции 334 8,99 2,529
Объем рынка 224 9,32 2,622
Тенденции развития рынка 343 8,96 2,521
Целевая аудитория (ЦА) 350 8,94 28,13 2,515
Конкурентная цена 184 9,44 2,656
Доступность каналов продви- 358 8,92 2,508
жения
Финансовые показатели эф- 338 8,98 2,525
фективности
Наличие бизнес-модели 330 9,00 2,532
Рыночные риски 432 8,69 2,445
Итого 3300 100
Источник: составлено авторами.
Таким образом, проанализировав таблицу, видно, что наиболее важным критерием является востребованность результатов научных исследований или разработок, а наименее важным - масштаб исследования или разработки. Различие между весами данных двух критериев составляет 2,14 раза.
Предложенный расчет весовых коэффициентов позволяет учесть важность каждого из критериев в интегральной оценке степени готовности разработки к коммерциализации.
Кроме непосредственной оценки степени готовности разработки к коммерциализации можно ранжировать проекты в случае необходимости. Алгоритм ранжирования представлен на рисунке 2.
Рисунок 2. Алгоритм принятия решения по отбору проектов и разработок для коммерческой реализации Источник: составлено авторами.
Использование предлагаемых критериев также позволяет осуществлять визуальное сравнение проектов и разработок при ранжировании их как по значениям блоков, так и по значениям отдельных критериев. Для этого предварительно необходимо пронормировать оценочные значения по блокам относительно максимальной величины с учетом весов. Нормирование показателей при построении графика позволяет нивели-
ровать воздействие на конечный результат сравнения разного количества критериев в блоках. А сравнение можно осуществлять с помощью лепестковой диаграммы. Пример использования представлен на рисунке 3.
-Проект 1
Блок Б - СК[_
Проект 2
Блок А 0,9 0,8 0,7 0,6 0,5 0,4
-Проект 3
Блок Б -ТК[_
Блок Б - №т[_
Рисунок 3. Сравнение проектов (пример) Источник: составлено авторами.
Анализ результатов расчета суммарных критериев, проведенных по предлагаемой нами методике ранжирования, и графическое сравнение результатов расчетов (рис. 3) позволит сформулировать обоснованные выводы о перспективности одного из сравниваемых проектов по отношению к другим и визуально выявить его преимущества. Так, из условного примера (рис. 3) наблюдается, что проект 3 явно уступаат проектам 1 и 2. При этом проект 2 более предпочтительней проекта 1 по блоку А и блоку Б - СКЬ, а по оставшимся блокам критериев - менее предпочтительней.
Заключение
Таким образом, основной проблемой существующих методик оценки готовности научных разработок является их обособленность, что приводит к отсутствию логической последовательности процесса создания технического предложения, а также оценки организационно-производственного потенциала. Разработанная методика и алгоритм ранжирования научно-исследовательских проектов и разработок организации позволяет провести оценку и ранжирование этих разработок по степени готовности к рыночной коммерциализации, учитывая в том числе уровень их коммерче-
ского потенциала. Особенностью разработанного алгоритма является предлагаемый механизм исключения из сравнения потенциально «нежизнеспособных» проектов, что значительно снизит трудоемкость оценки. При проведении апробации предлагаемого алгоритма на реальных проектах и разработках возможны корректировки весовых коэффициентов и интервалов оценки по каждому блоку критериев для снижения трудоемкости проводимых расчетов при ранжировании проектов.
ИСТОЧНИКИ:
1. Бухарин С.Н., Гукасов В.М., Лазаренко Н.Е. Теоретические и методические основы экспертизы фундаментальных и прикладных научно-технических проектов // Инноватика и экспертиза: научные труды. - 2011. - № 2(7). - с. 58-66.
2. Гусев А.Б., Ширяев А.А.. Корнилов А.М. Использование количественных методов оценки квалификации исследователей (на примере государственных программ и проектов развития сотрудничества с учеными-соотечественниками) // Наука. Инновации. Образование. - 2011. - № 1. - с. 113-126.
3. Качак В.В., Журихин А.В., Масленников А.М. Адаптивный подход к формированию объема финансирования государственного задания государственным учреждениям в части выполнения научных исследований // Инновации. - 2012. -№ 7(165). - с. 41-46.
4. Ларин С.Н., Герасимова Л.И., Ильменская Е.М. Модель и инструментарий оценки эффективности и уровня инновационности исследовательской деятельности научных организаций // Экономический анализ: теория и практика. - 2014. - № 8(359). -с. 11-26.
5. Лившиц В.Н., Панов А.С., Тищенко Т.И. и др. Корректная оценка эффективности инвестпроектов - залог успеха модернизации // Анализ и моделирование экономических и социальных процессов: математика. компьютер. образование. - 2015. -№ 3. - с. 7-24.
6. Осташков А.В. Оценка эффективности НИОКР в НИИ и вузах в контексте обеспечения инновационного развития. / Управление инновационной деятельностью-Кн. 4: Управление развитием инноваций. - Воронеж, 2011. - 505-522 с.
7. Проничкин С.В., Тихонов И.П. Оценка результативности деятельности научных организаций // Экономический анализ: теория и практика. - 2014. - № 3(354). -с. 27-32.
8. Тихонов Н.А. Оценка коммерческого потенциала инноваций // Экономический анализ: теория и практика. - 2012. - № 26(281). - с. 42-47.
9. Федотов А.В., Васецкая Н.О. Оценка макроэкономической эффективности научных исследований в России // Университетское управление: практика и анализ. - 2013. -№ 3(85). - с. 061-067.
10. Митус К.Н., Кацко И.А. Выбор наилучших методов оценки эффективности информационных технологий с помощью медианы Кемени // Политематический сетевой
электронный научный журнал Кубанского государственного аграрного университета. - 2015. - № 110. - с. 773-785.
11. Aiman-Smith L., Goodrich N., Roberts D., Scinta J. Assessing your organization's potential for value innovation // Research-Technology Management. - 2005. - № 2. - p. 37-46. - doi: 10.1080/08956308.2005.11657303.
12. Argyres N., Porter J. Privatizing the intellectual commons: Universities and the commercialization of biotechnology // Journal of Economic Behavior and Organization. -1998. - № 4. - p. 427-454.
13. AssesiingYoyr Venture. Financing Innovation - A Guide. Linking Innovation, Finance and Technology. Preparing a Technology Business Plan. LIFT, 11 rue de Bitbourg. L-1273, Luxembourg
14. Claver-Cortés E., Zaragoza-Sáez P., González Illescas M. Intellectual capital management: An approach to organizational practices in Ecuador // Intangible Capital. - 2018. - № 2.-p. 270. - doi: 10.3926/ic. 1158.
15. Forsman J. Awareness of Technology Readiness Level (TRL) in Analysis Method Development, GKN Aerospace. - 2013
16. Graettinger, C.P., Caroline, P. et al. Using the Technology Readiness Levels Scale to Support Technology Management in the DOD's ATD. STO Environments (A Findings and Recommendations Report Conducted for Army CECOM). [Электронный ресурс]. URL: http://resources.sei.cmu.edu/library/asset-view.cfm?assetID=5835.
17. Justel D., Justel D., Vidal R., Arriaga E., Franco V., Val-Jauregi E. Evaluation Method For SelectingInnovative Product Concepts With Greaterpotential Marketing Success. -August, Iced Paris, France, 2007. - 28-31 p.
18. Sabadka D. Innovation Potential Metrics // Annals Of Faculty Engineering Hunedoara -International Journal Of Engineering. - 2012. - № 3. - p. 449-455.
19. Verena S. The Global Union Research Network: A Potential for Incremental Innovations // Just Labor. - 2005. - p. 43-54. - doi: 10.25071/1705-1436.131.
20. Федорченко Е.А., Гармашова Е.П., Дребот А.М. Роль университетов в формировании и функционировании «обучающегося региона» // Теория и практика экономики и предпринимательства: труды XVIII Всероссийской с международным участием научно-практической конференции. Симферополь-Гурзуф, 2021. - c. 189-190.
REFERENCES:
Aiman-Smith L., Goodrich N., Roberts D., Scinta J. (2005). Assessing your organization's potential for value innovation Research-Technology Management. 48 (2). 3746. doi: 10.1080/08956308.2005.11657303. Argyres N., Porter J. (1998). Privatizing the intellectual commons: Universities and the commercialization of biotechnology Journal of Economic Behavior & Organization. 35 (4). 427-454.
Bukharin S.N., Gukasov V.M., Lazarenko N.E. (2011). Teoreticheskie i metodicheskie osnovy ekspertizy fundamentalnyh i prikladnyh nauchno-tekhnicheskikh proektov [Theoretical and methodological foundations of the examination of fundamental and applied scientific and technical projects]. Innovatika i ekspertiza: nauchnye trudy. (2(7)). 58-66. (in Russian).
Claver-Cortés E., Zaragoza-Sáez P., González Illescas M. (2018). Intellectual capital management: An approach to organizational practices in Ecuador Intangible Capital. 14 (2). 270. doi: 10.3926/ic. 1158.
Fedorchenko E.A., Garmashova E.P., Drebot A.M. (2021). Rol universitetov v formirova-nii i funktsionirovanii «obuchayushchegosya regiona» [The role of universities in the formation and functioning of the «learning region»] Theory and practice of economics and entrepreneurship. 189-190. (in Russian).
Fedotov A.V., Vasetskaya N.O. (2013). Otsenka makroekonomicheskoy effektivnosti nauchnyh issledovaniy v Rossii [The assessment of macroeconomic effectiveness of scientific investigations in Russia]. Universitetskoe upravlenie: praktika i analiz. (3(85)). 061-067. (in Russian).
Graettinger, C.P., Caroline, P. et al. Using the Technology Readiness Levels Scale to Support Technology Management in the DOD's ATDSTO Environments (A Findings and Recommendations Report Conducted for Army CECOM). Retrieved from http://resources.sei.cmu.edu/library/asset-view.cfm?assetID=5835
Gusev A.B., Shiryaev A.A.. Kornilov A.M. (2011). Ispolzovanie kolichestvennyh metodov otsenki kvalifikatsii issledovateley (na primere gosudarstvennyh programm i proektov razvitiya sotrudnichestva s uchyonymi-sootechestvennikami) [Use of quantitative methods of an estimation of qualification of researchers (on an example of government programs and projects of development of cooperation with scientists-compatriots)]. Science. Innovation. Education. 6 (1). 113-126. (in Russian).
Justel D., Justel D., Vidal R., Arriaga E., Franco V., Val-Jauregi E. (2007). Evaluation Method For SelectingInnovative Product Concepts With Greaterpotential Marketing Success August, Iced Paris, France.
Kachak V.V., Zhurikhin A.V., Maslennikov A.M. (2012). Adaptivnyy podkhod k formirovaniyu obyoma finansirovaniya gosudarstvennogo zadaniya gosudarstven-nym uchrezhdeniyam v chasti vypolneniya nauchnyh issledovaniy [An adaptive approach to the formation of the funding of state government agencies in the task of carrying out research]. Innovations. (7(165)). 41-46. (in Russian).
Larin S.N., Gerasimova L.I., Ilmenskaya E.M. (2014). Model i instrumentariy otsenki effektivnosti i urovnya innovatsionnosti issledovatelskoy deyatelnosti nauchnyh orga-nizatsiy [Model and tools for evaluating the effectiveness and level of innovation of research activities of scientific organizations]. Economic analysis: theory and practice. (8(359)). 11-26. (in Russian).
Livshits V.N., Panov A.S., Tischenko T.I. i dr. (2015). Korrektnaya otsenka effektivnosti investproektov - zalog uspekha modernizatsii [Correct assessment of the effectiveness of investment projects is the key to the success of modernization]. Analiz i modelirovanie ekonomicheskikh i sotsialnyh protsessov: matematika. kompyuter. ob-razovanie. 22 (3). 7-24. (in Russian).
Mitus K.N., Katsko I.A. (2015). Vybor nailuchshikh metodov otsenki effektivnosti infor-matsionnyh tekhnologiy s pomoshchyu mediany Kemeni [Choosing the best methods for assessing the efficiency of information technologies using the Kemeny median]. Scientific Journal of KubSAU. (110). 773-785. (in Russian).
Ostashkov A.V. (2011). Otsenka effektivnosti NIOKR v NII i vuzakh v kontekste obe-specheniya innovatsionnogo razvitiya [Evaluation of the effectiveness of R&D in research institutes and universities in the context of ensuring innovative development] Voronezh. (in Russian).
Pronichkin S.V., Tikhonov I.P. (2014). Otsenka rezultativnosti deyatelnosti nauchnyh organizatsiy [Evaluation of the performance of scientific organizations]. Economic analysis: theory and practice. (3(354)). 27-32. (in Russian).
Sabadka D. (2012). Innovation Potential Metrics Annals Of Faculty Engineering Hunedoara -International Journal Of Engineering. (3). 449-455.
Tikhonov N.A. (2012). Otsenka kommercheskogo potentsiala innovatsiy [Assessment of the commercial potential of innovation]. Economic analysis: theory and practice. (26(281)). 42-47. (in Russian).
Verena S. (2005). The Global Union Research Network: A Potential for Incremental Innovations Just Labor. 6 43-54. doi: 10.25071/1705-1436.131.
