CC BY
567Сливицкий А.Б.
начальник сектора ГосНИИАС
КОНЦЕПЦИЯ ОЦЕНКИ УРОВНЯ ГОТОВНОСТИ ТЕХНОЛОГИЙ, ПРОИЗВОДСТВ КАК МЕХАНИЗМ ФОРМИРОВАНИЯ ЕДИНОГО ИННОВАЦИОННО-ТЕХНОЛОГИЧЕСКОГО ПРОСТРАНСТВА
Ключевые слова: готовность технологии, оценка уровня готовности, производственная готовность, технология, уровень готовности технологии, уровень производственной готовности.
Keywords: technology readiness, readiness assessment level, production readiness, technology readiness level of technology, the level of production readiness.
Одной из важнейших задач, стоящих на повестке дня таких межгосударственных объединений как ЕврАзЭС, ШОС и БРИКС, является задача формирования единого инновационно-технологического пространства. Решение этой задачи является областью приложения системного анализа и заключается в комплексном применении целого спектра механизмов правового, информационного, технического и управленческого характера на основе унификации и стандартизации подходов к представлению данных, описанию технологий, инновационного процесса и управлению инновационно-технологическим развитием.
Представляется, что одним из перспективных механизмов унификационного и стандартизационного характера, призванных лежать в основе интеграционного процесса в инновационно-технологической сфере тесно взаимодействующих государств, может стать концепция оценки уровня готовности технологий [1-7], производств и т.д., обеспечивающая единство понимания стадий процесса создания технологий, техники и производств.
Развивая данный тезис, следует отметить, что с 1980-х годов в западной школе управления, применительно к управлению научно-техническими разработками, сформировался (и активно развивается) новый подход (назовём его «готовностный подход»), опирающийся на концепцию готовности объекта управления к штатному использованию. Концепция зиждется на понятии «готовность» (или «зрелость») некоего объекта. Данное понятие используется для описания процесса эволюции объекта управления: от его замысла, идеи до начала его штатного использования с извлечением коммерческой выгоды.
Авторами «готовностного подхода» выделяются и чётко отграничиваются специальные уровни готовности. Каждый уровень имеет свою характеристику. Любой объект в процессе своего эволюционирования последовательно проходит все уровни готовности. Подобное деление непрерывного процесса эволюции является основой управления объектом.
Объектами управления являются: технология, техника, производство и т.п.
Концепция оценки готовности представляет собой специальную систему (модель) уровней готовности (УГ), имеющую форму специальной шкалы характеристик состояния разработок, эволюционирующих во времени. В рамках концепции сформулированы принципы (критерии) оценки состояния - контрольные точки принятия решения и методы отнесения некоторой конкретной разработки к некоторому конкретному УГ. В качестве примера, демонстрирующего данный концептуальный подход, можно привести наиболее известную шкалу оценки уровня готовности технологий, см. рис. 1.
Используемая классификация отражает состояние исследовательских программ в зависимости от текущего УГТ1. Модель TRL объективирует оценку готовности, упрощает разработчикам и заказчикам контроль над ходом разработки (в т.ч. на этапе НИОКР) и выбор максимально готовых к системной интеграции и промышленному внедрению технологий. Шкала оценки УГТ позволяет проводить ранжирование технологий по степени их зрелости (готовности), начиная с самой незрелой стадии (УГТ 1) и заканчивая наиболее зрелой стадией (УГТ 9), использованием технологии в штатной, серийно выпускаемой системе (объекте техники, в том числе АТ), см. рис. 1. Шкала обеспечивает сравнимость, казалось бы, несопоставимых технологий, благодаря их стандартизованному описанию.
Каждому УГТ приписывается определённый технический риск (или определённый диапазон значений риска). Риск уменьшается пропорционально увеличению степени готовности технологии, см. рис. 1.
Таким образом, весь этот формализм позволяет сторонам (субъектам) процесса разработки сложных технических систем (СТС) проводить стандартизованную объективную оценку рисков и привлекать финансирование под конкретные мероприятия по «выращиванию», доводке конкретных технологий, то есть по целенаправленному повышению их УГ, а не на абстрактное «развитие отрасли» в целом.
1 В английской транскрипции уровень готовности технологии это: Technology Readiness Level (далее - TRL).
618
Рисунок 1.
Система (модель) уровней готовности технологий с нанесенной шкалой уровня
технологических рисков
К настоящему времени методология оценки УГ как совокупность объективных и надежных методов (инструментов), необходимых для точной оценки технологической зрелости и дающих представление о рисках, которые приводят к перерасходу средств, отставанию от графика, и снижению производительности сильно разрослась. Сформулирован целый спектр качественных и количественных методов, используемых для оценки технологической и производственной готовности, см. табл. 1. Более того, разработаны методы (шкалы) оценки технологической зрелости и готовности государств вообще.
Таблица 1
Качественные и количественные методы, используемые для оценки готовности технологий, см. [7]
Методы | Описание
Качественные методы оценки зрелости
Уровень производственной готовности (УПГ; MRL) MRL - это 10-уровневая шкала, используемая для определения текущего уровня производственной зрелости, определения дефицита зрелости и связанных с этих рисков, и обеспечения управления созреванием производственных технологий и сопутствующими рисками
Уровень готовности к интеграции (IRL) IRL - это 9-уровневая шкала, предназначенная для систематического измерения зрелости, совместимости и готовности различных технологий к интеграции и последовательного систематического поиска различных комбинаций интегрируемых технологий в интересах нахождения максимального синергетического эффекта. Это средство снижения рисков неудачи при объединении разрозненных технологий в систему
Уровень готовности несистемных технологий Расширение определений TRL на такие несистемные технологии как процессы, методы, алгоритмы и инженерную архитектуру
Уровень готовности для программного обеспечения Расширение метрики TRL признаками, используемыми при разработке программного обеспечения
Уровень готовности технологии к трансферу (передаче) (TRRL) TRRL - 9-уровневая шкала, описывающая готовность технологии к передаче для применения в другой сфере иным пользователем. Данный метод расширяет и изменяет понятийный аппарат TRL для лучшего соответствия целям и специфики процесса трансфера технологий
Контрольный список агентства противоракетной обороны Сделанная на заказ версия метрики TRL, описывающая зрелость аппаратных средств через жизненный цикл развития продукта
Шкала риска Морехуса 9-уровневая шкала, наносящая на карту прогрессию риска, аналогичную прогрессии зрелости технологий. Описания TRL адаптированы в интересах описания БПЛА
Научно-исследовательская степень трудности (R&D3) R&D3 - 5-уровневая шкала, предназначенная для того чтобы характеризовать трудность достижения, следующего (желаемого) уровня TRL. 5 - максимальная трудность, а 1 - наименьшая трудность
Степень продвижения трудности (AD2) Метод уточняет шкалу R&D3, оценивая трудность продвижения технологии от ее текущего уровня до желаемого уровня 9-уровневой шкалой
Количественные методы оценки зрелости
Системный уровень готовности (БЫЬ) SRL - это нормализованная матрица попарных сравнений TRL и IRL систем. Это - количественный метод, обеспечивающий понимание системной зрелости как продукт IRLxTRL
Модель оптимизации системного уровня готовности (БКЬшах) SRLmax - это количественная математическая модель с максимизацией SRL при ограничительных ресурсах. Цель SRLmax - достижение максимально возможного уровня SRL на доступном множестве ресурсов таких, как стоимость и расписание
Технологическая готовность и оценка степени риска (ТКЯА) TRRA - это количественная модель оценки риска, которая включает TRL, степень трудности (R&D3) перемещения технологии от одного TRL до другого и значение потребности в технологии (TNV). TRRA расширяет понятие матрицы риска, объединяя «вероятность неудачи» на оси Y и «последствии неудачи» на оси X
Интегрированная технологическая аналитическая методология (1ТАМ) ITAM - это количественная математическая модель, которая объединяет различные системные метрики в интересах вычисления совокупной зрелости системы, основанная на готовности составляющих её первичных технологий. Системные метрики включают TRL, ATRL, R&D3 и TNV
Уровень готовности технологии для программного обеспечения готового продукта (N01) NDI - это математический метод для оценки зрелости программного обеспечения с использованием ортогональных метрик в сочетании с матрицей сравнения, чтобы исследовать две эквивалентных технологии, которые являются кандидатами на вставку в систему. Включает другие признаки, такие как удовлетворение требований, охрана окружающей среды, критичность, доступность продукта и зрелость продукта
Технологическая метрика вставки (Т1) TI включает интеграцию различных метрик, которые имеют дело со вставкой технологии и подсистем в существующую систему в интересах разработки «расширенной системы». Метрика TI - метрика высокого уровня, вычисленная из подметрик, или измерений, предназначенных для оценки риска и возможности введения технологии на подсистемном и системном уровне
ТКЬ кривая расписания рисков Это количественная модель, которая не сообщает зрелость технологии в определенный момент времени, но вместо этого использует TRL, чтобы определить соответствующие края графика, связанные с каждым уровнем TRL, чтобы смягчить промахи графика
В дополнение к показателям готовности, перечисленным в таблице 1, существуют другие показатели уровня готовности (в том числе, связанные с готовностью проекта). Специалисты выделяют [7]:
Capability Readiness Levels - уровни готовности способности (возможности) самой оценки готовности;
Human Readiness Levels - уровни готовности человеческого (кадрового) потенциала;
System Readiness Levels (SRL) -уровни готовности системы (системные уровни готовности);
Logistics Readiness Levels - уровни готовности логистических систем;
Operational Readiness Levels - уровни готовности к эксплуатации (эксплуатационные уровни готовности);
Design Readiness Levels - уровни готовности внешнего облика (дизайна);
Software Readiness Levels - уровни готовности программного обеспечения;
Innovation Readiness Levels - уровни готовности инноваций (инновационные уровни готовности);
Programmatic Readiness Levels - уровни готовности программы (программные уровни готовности).
Применительно к описанию готовности технологий уже традиционной стала 9-ти уровневая шкала УГТ, составленная по принципу «от простого к сложному», разработанная в НАСА. Шкала точек принятия решения об успешном прохождении УГТ имеет вид:
1. Основные принципы изучены и усвоены (да, нет).
2. Сформулирована технологическая концепция и ее приложение (да, нет).
3. Верифицированы концептуальные критические функции и характеристики (аналитическая и экспериментальная) (да, нет).
4. Испытаны компоненты и макет в лабораторных условиях (да, нет).
5. Испытаны компоненты и макет в натурных условиях (да, нет).
6. Проведена демонстрация модели или прототипа системы /подсистемы в натурных условиях (наземные или полетные) (да, нет).
7. Проведена демонстрация прототипа системы в требуемых реальных условиях (да, нет).
8. Реальная система выполнена и сертифицирована в испытаниях и демонстрации (на земле и в полете) (да, нет).
9. Реальная система выполнила требуемую задачу (да, нет).
Основной целью применения концепции (методологии) УГТ является помощь управленческому персоналу в принятии решений, касающихся перехода на следующие стадии развития или использования технологии.
Логично предложить следующее определение шкалы уровней готовности: «шкала уровней готовности есть система показателей, определяющих уровни готовности (зрелости) некоего продукта на различных этапах его разработки».
А определение УГ можно сформулировать в виде: «уровень готовности - это индикатор или показатель состояния процесса разработки, позволяющий в рамках формализованной шкалы оценить степень ее готовности (зрелости) для практического использования при разработке и производстве инновационной продукции и принять решение о целесообразности продолжения работ и успешном завершении процесса разработки».
Достижение каждого следующего УГ технологиями (и производством) повышает гарантию эффективности управления этим процессом и снижает риски неудачи программ создания СТС. В случае отрицательного ответа на вопрос, задаваемый в контрольной точке следует: либо вернуться в начало этапа (уровня готовности), давшего отри-
цательный результат и пройти его заново, либо принять решение о возвращении на два и более уровня назад для их повторного прохождения. Осуществлять развитие для перехода на следующий УГТ, не закончив полностью работы по достижению текущего уровня, возможно, но нежелательно, так как существенно повышаются риски из-за потери системности в развитии (ухода от более глубокого освоения набора требований каждой ступени).
Метод применения (использования) модели УТГ состоит из следующих этапов (представим следующим алгоритмом действий):
1) выделение самостоятельных (независимых) технологий;
2) сопоставление каждой из них со специальной шкалой оценки уровня готовности (УГ);
3) приписывание каждой из оцениваемых технологий определенного УГ, формально характеризуемого определенным техническим риском реализации;
4) обоснование необходимости повышения УГ данной технологии;
5) разработку программы доводки;
6) подготовку сводной информации о всех нуждающихся в доводке технологиях;
7) оценку потребных ресурсов для доводки технологии;
8) оценку рассогласования между имеющимися и запрашиваемыми ресурсами;
9) определение приоритетных (критических) технологий, доводку которых необходимо осуществить в первую очередь;
10) повторное выполнение пунктов 4-9 настоящего алгоритма, при необходимости;
11) подготовку решения о выделении ресурсов;
12) проведение через определенный промежуток времени новой оценки УГ и повторение всего цикла.
Весь этот формализм позволяет сторонам (субъектам) разработки СТС проводить стандартизованную объективную оценку рисков и привлекать финансирование под конкретные мероприятия по «выращиванию», доводке конкретных технологий, то есть по целенаправленному повышению уровня их готовности (зрелости).
Таким образом, основной целью использования концепции УГТ является помощь управленческому персоналу в принятии решений, касающихся перехода на следующие стадии развития или использования технологии.
Преимущества данного метода ранжирования возможных состояний процесса создания технологий таковы:
• объективность оценки состояния разработки технологии;
• обеспечение общего понимания статуса (состояния) конкретной технологии и всего НТЗ;
• понятное управление рисками;
• использование для принятия решений, касающихся финансирования технологий;
• использование для принятия и контроля выполнения решений, касающихся перехода технологии на следующий уровень зрелости (готовности).
К недостаткам можно отнести:
• увеличение отчетности, объема документации и необходимость формирования специальной базы данных или отдельной информационной системы;
• для самой оценки используют субъективные таблицы входящих параметров («калькуляторы»);
• относительно новый метод требует времени для освоения, чтобы отследить последующее воздействие на систему;
• необходимо внесение изменений в действующую нормативную правовую и инструктивную регламентную базу.
Использование понятия «уровень готовности» (см. выше) может быть выгодно в ряде случаев по следующим
направлениям:
• формализация процедур управления НИОКР;
• поэтапное финансирование НИОКР;
• внедрение в компании современных управленческих технологий, как организационных, так и производственных;
• привлечение инвестиций, продажа бизнеса, выход на международный рынок в качестве продавца или в качестве покупателя.
Таким образом, описанная классификация отражает состояние исследовательских программ в зависимости от текущего УГ. Модель ТЯЬ объективирует оценку готовности технологий, упрощает разработчикам и заказчикам контроль над ходом их разработки и выбор максимально готовых к системной интеграции и промышленному внедрению технологий.
Шкала оценки УГТ позволяет проводить ранжирование технологий по степени их зрелости (готовности), начиная с самой незрелой стадии (УГТ 1) и заканчивая наиболее зрелой стадией (УГТ 9) - использованием технологии в штатной серийно выпускаемой системе (объекте техники) и обеспечивать сравнимость, казалось бы, несопоставимых технологий, благодаря их стандартизованному описанию.
В целом методология (система) УГТ предусматривает градацию УГТ, методики оценки УГТ, назначение ответственных за оценку лиц, специальный порядок подготовки управленческих решений и пр.
Основная идея методологии оценки уровня производственной готовности (УПГ) - эффективно вести проекты по созданию и развитию (модернизации) производства (производственно-технологической базы - ПТБ) через управление отдельными этапами создания (развития, модернизации): от констатации дефицита ПТБ до коммерческого запуска, через формирование замысла (концепции) новой ПТБ и её реализацию. Успешное прохождение каждого этапа реализации будет повышать готовность ПТБ к началу производства АТ при одновременном снижении технических рисков.
Методология оценки УПГ зиждется на специальном понятийном аппарате (понятиях: производственная готовность, уровень производственной готовности) и методологических принципах. В неё входит модель оценки УПГ, метод её - модели оценки УПГ - построения (формирования), а также метод применения (использования) модели оценки УПГ.
УПГ - это индикатор или показатель состояния процесса подготовки (создания) производства, позволяющий в рамках формализованной шкалы оценить степень зрелости нового или модернизируемого производства инновационной продукции и принять решение о целесообразности продолжения работ и успешном завершении процесса разработки.
Шкала УПГ есть система показателей, определяющих уровни производственной готовности (зрелости) на различных этапах создания производства.
Базис методологии оценки УПГ составляют следующие научные подходы: системный, процессный, проектный и ситуационный, реализуемые в данной методологии в виде следующих методологических принципов:
• эволюционное развитие ПТБ;
• разделение эволюционного процесса создания ПТБ на этапы и точки принятия решения (ТПР);
• формализованное описание содержания каждого этапа создания ПТБ и достигаемых в ТПР результатов;
• принятие управленческих решений о ходе и продолжении (окончании) этапа развития ПТБ в специальных
ТПР;
• уменьшение технических рисков, разрабатываемых производственных технологий и ПТБ, соответственно увеличению их готовности;
• параллельность проектных работ по созданию СТС и ПТБ;
• объединение всех параллельных работ по созданию АТ и ПТБ единой целью - моментом завершения разработки АТ и началом производства АТ.
ИП формирования ПТБ заключается в создании благоприятных условий для её эволюционирования во времени при прохождении некоторых этапов развития. Главный смысл подхода к описанию процесса развития ПТБ - описание её развития через разделение процесса развития ПТБ на отдельные этапы.
Нарастающая, в зависимости от степени производственной готовности, то есть построенная на основе принципа «от простого к сложному», последовательность (шкала) точек принятия решения об успешном прохождении ПТБ УПГ имеет вид:
1. Сделаны выводы относительно основных производственных потребностей (да, нет).
2. Определена концепция производства (да, нет).
3. Подтверждена производственная концепция (да, нет).
4. Достигнута возможность изготовления технических средств в лабораторных условиях (да, нет).
5. Достигнута возможность изготовления прототипов компонентов систем в соответствующих производственных условиях (да, нет).
6. Достигнута возможность изготовления прототипов систем и подсистем при наличии готовых элементов основного производства (да, нет).
7. Достигнута возможность изготовления систем, подсистем или их компонентов в условиях, близких к реальным, и при завершенных конструкторских расчетах (да, нет).
8. Испытана пилотная производственная линия, достигнута готовность к началу мелкосерийного производства (да, нет).
9. Успешно продемонстрирована возможность мелкосерийного производства, подготовлена база для полномасштабного производства (да, нет).
10. Налажено полномасштабное производство с участием субподрядчиков (да, нет).
Приведенная последовательность (шкала) точек принятия решения об успешном прохождении ПТБ УПГ представляет собой систему критериев (принципов), позволяющую констатировать успешное прохождение ПТБ определённого УПГ и получение ею нового качественного состояния (статуса).
Методология оценки УПГ - это операционная основа, или шаблон, для управления процессом создания ПТБ. Основной целью использования методологии оценки УПГ является помощь управленческому персоналу в принятии решений, касающихся перехода ПТБ на следующие стадии её создания или развития (модернизации).
Преимущества данного метода ранжирования состояний производств таковы:
• объективность оценки состояния разработки ПТБ;
• обеспечение общего понимания статуса конкретного производства и всей ПТБ;
• понятное управление рисками;
• использование для принятия решений, касающихся финансирования создания (развития, модернизации) ПТБ;
• использование для выполнения решений, касающихся перехода ПТБ на следующий УПГ.
• Методология оценки УПГ - отражает состояние программ создания ПТБ в зависимости от текущего УПГ. Модель МКЬ объективизирует оценки готовности ПТБ, упрощает разработчикам и заказчикам контроль над ходом её разработки. Она позволяет сторонам (субъектам) разработки ПТБ проводить стандартизованную объективную оценку рисков и привлекать финансирование под конкретные мероприятия по «выращиванию», доводке конкретных производств, то есть по целенаправленному повышению их УГ.
Методология (система) УПГ предусматривает градацию УПГ, методики оценки УПГ, назначение ответственных за оценку лиц, специальный порядок подготовки управленческих решений и т.п.
В настоящее время методология оценки УПГ (MRL), как одно из перспективных направлений развития управленческой методологии - носит в странах Запада статус «лучшей практики», то есть в силу своей новизны она ещё не вошла в обязательные нормы и правила управления разработками и пока что является самым передовым опытом.
Оптимальное сочетание УГТ и УПГ становится ключевым инструментом для управления рисками на всех этапах разработки, моделирования, тестирования, производства, эксплуатации и обеспечения новой конкурентоспособной техники. При этом в условиях стремительного развития научно-технического прогресса больше внимания следует уделять подготовке промышленно-производственной базы, которая должна обеспечить выпуск и дальнейшую модернизацию перспективных рыночно-ориентированных продуктов.
В результате применения описываемых систем УГТ и УПГ, риск создания нового образца техники (в том числе авиационной) постоянно снижается, а это важный экономический фактор. Понятный прогнозируемый риск, позволяет привлекать необходимые инвестиции. Позволяет производителю осуществлять маркетинг (формировать спрос) и производить продажи еще не построенного образца техники в коммерчески выгодных для себя масштабах.
Система оценки готовности технологий и производства может быть использована:
• при управлении инновационным развитием производственно-технологической базы;
• при управлении использованием и развитием материально-технической базы;
• при создании системы объективной вневедомственной оценки результативности деятельности научных организаций;
• при формировании государственных приоритетов технологического и инновационного развития Российской Федерации;
• при разработке стратегий технологического и инновационного развития Российской Федерации.
• при формирования единого инновационно-технологического пространства государств ЕврАзЭС, ШОС и БРИКС.
В интересах нормативного закрепления системы оценки УГТ и УПГ на национальном уровне (в Российской Федерации) необходимо проработать такие вопросы как:
• закрепление на законодательном уровне определений понятий «производственная готовность», «уровень производственной готовности» («технология», «готовность технологии», «уровень готовности технологии»);
• закрепление на нормативном правовом уровне полномочий Правительства Российской Федерации, Минпром-торга России, генеральных конструкторов и т.д.;
• разработка предложений по структуре систем оценки УГТ и УПГ и функциональному назначению её основных элементов - субъектов оценочной деятельности;
• разработка предложений по организации деятельности по сертификации и лицензированию оценочной деятельности в рамках систем оценки УГТ и УПГ;
• разработка проектов указа Президента Российской Федерации и постановления Правительства Российской Федерации о создании и внедрении системы оценки УГТ и УПГ;
• разработка ведомственной документации о создании и внедрении системы оценки УГТ и УПГ - проектов положений, регламентов, порядков, инструкций по организации и работе системы оценки УГТ и УПГ;
• разработка системы информационно-аналитического обеспечения систем оценки и разработка базы данных об уровнях готовности технологий и промышленной готовности в целях информирования заинтересованных организаций;
• разработка предложений по специальному образовательному курсу и подготовка методических рекомендаций и пособий.
В интересах нормативного закрепления системы оценки УГТ и УПГ на наднациональном межгосударственном уровне (в государствах ЕврАзЭС, ШОС и БРИКС) необходимо:
• внедрить концепцию УГ на национальном уровне;
• провести проработку на экспертном уровне и разработать согласованные предложения от государств ЕврА-зЭС, ШОС и БРИКС;
• разработать пакет межгосударственных соглашений о применении концепции УГ в том числе о взаимном признании соответствующих систем оценки УГ.
Резюмируя следует отметить, что описанная концепция оценки уровня готовности технологий и уровня готовности производств может быть эффективным механизмом формирования единого инновационно-технологического пространства.
Список литературы
1. Алёшин Б.С. О новой концепции организации научных работ // Новости ЦАГИ. 2010. - № 5(85).
2. Буренок В.М., Ивлев А.А., Корчак В.Ю. Развитие военных технологий XXI века: проблемы, планирование, реализация. - Тверь: Купол, 2009.
3. Клочков В.В., Николенко В.Ю. Современная организация создания авиатехники: монография. - М.: ФГБОУ ВПО МГУЛ, 2013.
4. Скибин В.А., Солонин В.И. Современная методология // Машиностроение. Энциклопедия. Самолеты и вертолеты. Т. IV-21. Авиационные двигатели. Кн.3 / В.А. Скибин, В.И. Солонин, Ю.М. Термис и др.; под ред. В.А. Скибина, Ю.М. Термиса и В.А. Сосунова. - М.: Машиностроение, 2010.
5. Сливицкий А.Б. Актуальные проблемы введения в хозяйственный оборот результатов интеллектуальной деятельности. // Межотраслевая информационная служба. 2014. - № 3.
6. Сливицкий А.Б. Совершенствование инструментария выбора государственных приоритетов, механизмов разработки и реализации стратегий инновационного развития // Регионы Евразии: стратегии и механизмы модернизации, инновационно-технологического развития и сотрудничества. Тр. Первой междунар. научн.-практ. конф. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; отв. Ред. Ю.С. Пивоваров. - М., 2013. - С. 270-278.
7. Fernandez J.A. Contextual Role of TRLs and MRLs in Technology Management. 2010. - http://prod.sandia.gov/techlib/access-control.cgi/2010/107595.pdf
