CC BY-NC-ND
61
Мастер-класс
Идентификация потенциальных коллаборативных сетей в международных научных программах1 II * IV
В. Бруммер1, Ю. Лиесио", Ю. Ниссинен", А. Сало'у
Процесс выявления научно-технологических приоритетов опирается на устоявшуюся методологическую базу. другой не менее важный аспект — идентификация коллаборативных сетей, способных осуществлять исследования и разработки, — до недавнего времени не имел адекватной методологической поддержки. Формирование исследовательских связей происходило в отрыве от выявления приоритетов, что снижало эффективность реализации последних.
В статье рассматривается аналитический метод, призванный восполнить сложившийся пробел.
I Бруммер Вилле — научный сотрудник, Лаборатория системного анализа, Хельсинкский технологический университет (Финляндия). E-mail: [email protected]
II Лиесио Юусо — научный сотрудник, Лаборатория системного анализа, Хельсинкский технологический университет (Финляндия). E-mail: [email protected]
ш Ниссинен Юусо — финансовый аналитик, Depfa Bank Plc. (Финляндия). E-mail: [email protected]
IV Сало Ахти — профессор, Лаборатория системного анализа, Хельсинкский технологический университет (Финляндия). E-mail: [email protected]
1 Исследование проведено при поддержке Академии наук Финляндии и Финского агентства по финансированию технологий и инноваций (Tekes). Настоящая статья продолжает цикл публикаций авторов, посвященных методологии Форсайт-исследований (см. [Бруммер и др., 2010а,б]).
56 | Форсайт | т. 5. № 1 I 2011
Мастер-класс
Программы исследований и разработок (ИиР), финансируемые государством, являются одним из ключевых инструментов инновационной политики на национальном и международном уровнях (см., например, [Clark, Guy, 1998; Klaassen et al., 2005]). Они в большей мере, чем иные инструменты (налоговые субсидии, законодательные меры и т. д.), предназначены для поддержки исследований, ориентированных на решение актуальных социально-экономических задач [Salmenkaita, Salo, 2002]. Это одна из причин пристального внимания к Форсайт-упражнениям, которые, определяя темы исследований, максимально отражают научно-технологические приоритеты [Irvine, Martin, 1984; Salo, Salmenkaita, 2002]. Все большую важность для научной политики и исследовательских программ приобретает правильный выбор коллаборативных сетей [Barre, 2002].
На глобальном уровне формирование инструментов политики осложняется необходимостью учитывать многочисленные горизонтальные и вертикальные связи, как внутри инновационных систем, так и между ними [ Webster, 1999; Koschatzky, Sternberg, 2000; Jewell, 2003; Keiser, Prange, 2004]. По мере расширения круга влиятельных игроков растет многообразие целей и стратегий, синхронизировать которые становится все труднее. Началу успешного сотрудничества могут препятствовать и такие факторы, как географическая разобщенность научных организаций, различия в корпоративных культурах, процедурах и административных практиках [Camarinha-Matos, Afsarmanesh, 2007; Бруммер и др., 2010б].
Для того чтобы повысить качество принимаемых решений, в частности при подготовке программ ИиР, разработаны универсальные многокритериальные методы определения приоритетов [Henriksen, Traynor, 1999]. Основное преимущество подобных инструментов — создание системы регулярного анализа будущих возможностей и ее использование в оценке потенциальных исследовательских проектов, что обеспечивает открытость и последовательность формирования и реализации стратегии [Salo et al., 2003]. В литературе представлен ряд примеров применения многокритериальных методов оценки для определения приоритетов научно-технологической политики; среди них: «аналитический иерархический процесс» (Analytic Hierarchy Process, AHP) [Saaty, 1980; Poh et al., 2001], «включение рядов в иерархии критериев» (Rank Inclusion in Criteria Hierarchies, RICH) [Salo, Punkka, 2005; Salo, Liesio, 2006] и робастное портфельное моделирование (Robust Portfolio Modeling, RPM) [Liesio et al, 2007, 2008; Бруммер и др., 2010а, 2010б].
Напротив, значительно меньшее число работ посвящено практике использования инструментов принятия решений для создания новых сетей в рамках государственных ИиР [Hellstrom et al., 2001; Camarinha-Matos, Afsarmanesh, 2007]. К ним могут быть отнесены методологические исследования оптимизации структуры вир-
туальных коллаборативных сетей [Camarinha-Matos, Afsarmanesh, 2003, 2005; Lau, Wong, 2001]. К тому же, эти методологии не адаптированы к оценке исследовательских программ, что ограничивает возможности сбора данных, а следовательно, применения инструментов количественной оптимизации. Моделирование сетевого сотрудничества в международных программах ИиР осложняется тем, что интересы и компетенции ученых из разных стран не всегда легко выявить, и, кроме того, подобная модель должна удовлетворять ожиданиям большого числа участников, чьи административные практики могут значительно различаться [Prange, 2003; Kuhlmann, Edler, 2003].
В связи с вышесказанным, при подготовке международных программ ИиР возникают следующие вопросы:
• Какие методы извлечения информации о знаниях и определения тематических приоритетов могут использоваться при поддержке сетевого взаимодействия?
• Каким образом будут учитываться глобальные аспекты (например, баланс приоритетов между странами)?
С целью их решения нами разработан системный подход — «робастное портфельное моделирование сетей» (RPM-Networking), в котором базовым критерием оценки выступает жизнеспособность потенциальных сетей. Основу подхода составляет метод портфельного анализа — робастное портфельное моделирование [Liesio et al., 2007, 2008; Бруммер и др., 2010а, 2010б], позволяющий учесть ресурсные и иные ограничения при идентификации тематических приоритетов ИиР и ассоциированных с ними сетей.
Рассмотрим возможности метода на примере обработки массива данных, полученного в результате совместных консультаций в рамках проекта WoodWisdom-Net — одной из инициатив сетевого сотрудничества ERA-NET2 [Brummer et al., 2008]. Результаты проведенного анализа сетей стали основой формирования международной исследовательской программы3. Опыт WoodWisdom-Net представляет широкий интерес, поскольку систематические методы поддержки сетевого сотрудничества вследствие вовлеченности большого числа стран и групп стейкхолдеров могут использоваться в других программах ERA-NET и инструментах международной научно-технической политики.
Организация взаимодействия и создание сетей для реализации международных исследовательских программ
Тесные взаимосвязи различных компонентов инновационной системы — ключевой элемент успешных инновационных стратегий [Fritsch, Lucas, 1999; Kauffman, Todtling, 2001], в разработке которых важную роль играет Форсайт. Его основные задачи состоят в формировании общего видения и организации сетей, которые
2 Инициативы ERA-NET направлены на поддержку сотрудничества между национальными и региональными исследовательскими программами, инициированными политическими ведомствами и финансирующими организациями стран - членов ЕС. Подробнее см.: http://cordis.europa.eu/coordination/ era-net.htm
3 В данном случае термин «международный» означает, что, хотя программные приоритеты определяются исходя из интернациональных интересов, исследователи обычно получают средства от отечественных инвесторов, а проекты финансируются только при условии высокого уровня международной кооперации.
2011 | Т. 5. № 1 I ФОРСАЙТ | 57
Мастер-класс
имеют решающее значение для повышения результативности инновационной системы [Barre, 2002] за счет развития трансфера технологий [Chataway et al., 1999] и связанных с этим процессов обучения [Kuhlmann, Edler, 2003]. Кроме того, укрепление связей между влиятельными игроками способствует возникновению как радикальных, так и инкрементальных инноваций [Love, Roper, 2001].
В подобном контексте реализация ИиР, финансируемых государством, стимулирует сотрудничество между акторами инновационной системы. Развитие партнерства путем создания новых исследовательских сетей особенно актуально при осуществлении ИиР, инвестируемых из разных источников [Arranz, Fernandez de Arroyabe, 2006]. Международные программы предполагают многоуровневую кооперацию как в рамках национальных инновационных систем, так и между ними [Keiser, Prange, 2004]. Например, в качестве инструментов инновационной политики для формирования Европейского исследовательского пространства (European Research Area, ERA) выступают технологические платформы и инициативы ERA-NET [European Commission, 2003; Kuhlmann, Edler, 2003].
В рамках Европейского исследовательского пространства выделены три основных класса международных проектов ИиР—изобретательские, инновационные и диффузионные. Инновационные проекты обычно имеют узкий тематический фокус и генерируют результаты с помощью четко структурированных сетей. В свою очередь, в изобретательские и диффузионные проекты вовлекается большее число участников, объединенных в слабоструктурированные, открытые сети; итогами их деятельности являются соответственно патенты или научные публикации [Arranz, Fernandez de Arroyabe, 2006]. В приведенной классификации, государственные программы ИиР со слабоструктурированными открытыми сетями, по мнению авторов, подпадают под определение изобретательских или диффузионных проектов, в которых кооперационная активность не должна обязательно жестко регулироваться.
Между тем, низкий уровень координации отчасти препятствует интенсивной кооперации национальных инновационных систем посредством общеевропейских инструментов [Prange, 2003; Pochet, 2005]. Одна из возможных причин слабого взаимодействия при формировании новых связей — в том, что релевантные, зарекомендовавшие себя методологии создания новых исследовательских сетей еще не получили широкого распространения [Hellstrom et al., 2001]. В то же время подобные механизмы эффективно применялись в иных условиях, например для создания временных коллективов, стремящихся подобрать таких партнеров, состав которых был бы оптимален для успеха в решении определенной задачи (например, достижения заданных технологических стандартов). Однако в силу своей сложности они скорее подходят для целевых инновационных программ, чем для менее структурированных изобретательских или диффузионных проектов [ Camarinha-Matos, Afsarmanesh, 2005; Liang et al., 1999].
Для ранних стадий инновационного процесса сформированы некоторые концептуальные и менее формализованные методологии, которые призваны поддер-
58 | ФОРСАЙТ | Т. 5. № 1 I 2011
живать сетевое сотрудничество по различным тематическим направлениям. Так, в качестве инструмента кооперации в крупных сложных системах, находящихся в преддверии технологических прорывов, Т. Коннола и его коллеги предложили стратегические добровольные соглашения (Prospective Voluntary Agreements, PVAs). Они направлены на обеспечение взаимодействия организаций путем разработки общего видения и его осуществления участниками, тогда как цель подготовки программ ИиР — определить перспективные исследовательские области и способствовать инициированию лучших научных проектов, достойных поддержки. Стратегические соглашения, таким образом, являются скорее механизмом принятия решений о финансировании той или иной программы ИиР, нежели средством поддержки процесса их разработки.
При подготовке государственных исследовательских программ ключевой задачей, требующей адекватного методологического обеспечения, является расстановка тематических приоритетов [Poh et al., 2001; Salo, Salmenkaita, 2002]. Существуют различные способы определения приоритетов — от целенаправленного распределения портфелей [Stewart, 1991; Oral et al., 1991] до многоэтапных процессов с вовлечением широкого круга участников, где вначале разрабатывается общая программа исследований, а затем принимаются решения о возможности финансирования представленных проектных предложений [Tian et al., 2005; Salo, Liesio, 2006]. Подобные многоэтапные подходы особенно эффективны в крупных международных программах ИиР, финансирование которых ведется несколькими организациями, поскольку они обеспечивают широкую вовлеченность представителей научного сообщества и промышленности [Tian et al., 2005]. Как правило, подобные методы включают отбор, комментирование и многокритериальную оценку перспективных исследовательских тем [RPM-Screening; Brummer et al., 2008; Бруммер и др., 2010а, 2010б].
Одна из задач межнациональных ИиР — углубление сотрудничества путем укрепления существующих исследовательских сетей либо создания новых с учетом следующих обстоятельств:
• Различия в корпоративных практиках, смена фокуса в тематических областях ИиР и варьирующиеся подходы к международному сотрудничеству могут привести к разногласиям между финансирующими организациями относительно перспективности тех или иных исследовательских тем и способов их оценки [Prange, 2003; Kuhlmann, Edler, 2003]. В итоге инвесторы не всегда осознают все потенциальные преимущества совместных проектов, реализуемых с помощью новых исследовательских сетей.
• В научном сообществе идентификация потенциальных партнеров, их интересов и возможностей может быть связана со значительными затратами. Как следствие, ученые часто недостаточно осведомлены о том, какие еще исследовательские коллективы работают над аналогичными темами, и предпочитают сотрудничать с коллегами по прежним проектам [Prange, 2003; Kuhlmann, Edler, 2003].
• Готовность ученых и организаций-инвесторов к кооперации еще не гарантирует появления но-
Мастер-класс
вых исследовательских сетей и распространения результатов их деятельности. Планирование и реализация совместных проектов ИиР делятся на несколько взаимозависимых, но раздельно управляемых этапов [Arranz, Fernandez de Arroyabe, 2006]. В связи с этим возникает риск, что не все итоги подготовительной деятельности могут быть доведены до стадии реализации, за которую будут отвечать уже иные акторы. Существует также возможность, что, даже если перспективные исследовательские темы будут выявлены, отсутствие оптимально сформированных сетей не позволит полностью реализовать их потенциал.
Обозначенные проблемы указывают на необходимость системного анализа не только исследовательских тем, но и соответствующих будущих сетей. Инвесторам подобная оценка помогает идентифицировать темы ИиР, которые выглядят наиболее многообещающими с точки зрения кооперации, что обусловлено как будущим спросом со стороны промышленности и общества, так и наличием необходимых компетенций у научного сообщества и заинтересованности в их реализации. Ученые, в свою очередь, получают возможность сократить административные расходы за счет уменьшения затрат на поиск партнеров и заключение с ними контрактов.
Поскольку новые коллаборативные сети приносят результаты в ходе реализации проектов ИиР, их построение должно быть согласовано с определением тематических приоритетов. Таким образом, вместо того чтобы разделять процессы определения тематических приоритетов и построения кооперационных сетей при планировании и проведении ИиР, целесообразно их объединить; это позволит сфокусироваться на темах, вокруг которых возможно формирование новых исследовательских сетей. Методология RPM-Networking, представленная в данной статье, предполагает интегральную оценку тематических приоритетов и колла-боративных сетей. По сути, она является расширением скрининга RPM [Бруммер и др., 2010а], охватывая сетевые структуры.
Консультативный процесс в рамках WoodWisdom-Net
Задача сетевой инициативы WoodWisdom-Net, стартовавшей в 2004 г., — «углубление сотрудничества между организациями ЕС, спонсирующими ИиР в области древесных материалов, координация исследо-
вательских бюджетов, а также объединение научных ресурсов разных стран в целях обеспечения конкурентоспособности и устойчивого развития Европейского лесного кластера»4. WoodWisdom-Net — интернациональная сеть, охватывающая 18 финансирующих организаций из восьми стран — Австрии, Дании, Финляндии, Франции, Германии, Норвегии, Швеции и Великобритании.
Изначально WoodWisdom-Net была нацелена на создание международной исследовательской программы в области древесных материалов. Инициатива предполагала проведение совместных консультаций, в ходе которых формировался бы обширный массив информации о перспективных исследовательских темах и тем самым сложилась основа будущей программы исследований. Этот процесс, получивший наименование «Совместное формирование научных программ в рамках WoodWisdom-Net» (Collaborative Shaping of Research Agendas in WoodWisdom-Net), имел место в 2005-2006 гг. и охватывал более 400 участников. Процедура его проведения подробно описана в работе [Brummer et al., 2008].
Рассмотрим более детально методологию робастного портфельного моделирования, разработанную для идентификации новых сетей и предоставления финансирующим организациям информации о том, какие из них могут быть выстроены вокруг альтернативных тематических приоритетов. Основой портфельного анализа послужили результаты анкетирования участников в ходе рабочих семинаров и в режиме онлайн. Отметим, что робастное портфельное моделирование сетей — универсальная методология, применимая и в иных аналогичных ситуациях.
Исходя из опыта предыдущих Форсайт-проектов [Salo et al., 2004; Бруммер и др., 2010б] консультационный процесс в рамках WoodWisdom-Net был разделен на последовательные этапы, участники которых распределили между собой роли и ответственность (табл. 1). Структура процесса, отчасти продиктованная спецификой скрининга робастных портфельных моделей [Бруммер и др., 2010а], состояла из Интернет-опросов, многокритериального анализа, а также совместных семинаров, посвященных детальной оценке предшествующих этапов.
Состав участников включал:
• научное сообщество, в частности, ведущих экспертов университетов, НИИ и отраслевых исследовательских организаций;
табл. 1. Этапы консультационного процесса
Мероприятие Участники Сроки проведения
1. Предложение исследовательских тем Ученые Июль-октябрь 2005 г.
2. Оценка исследовательских тем Ученые Начало декабря 2005 г. - середина января 2006 г.
3. Оценка исследовательских тем Руководители промышленных предприятий Три последние недели января 2006 г.
4. Начальный скрининг исследовательских тем Команда проекта Январь - февраль 2006 г.
5. Три однодневных семинара для ученых и руководителей промышленных предприятий 10-12 экспертов, представляющих науку и промышленность Середина февраля 2006 г.
6. Однодневный семинар для финансирующих организаций Представители финансирующих организаций Конец марта 2006 г.
http://www.woodwisdom.net/
2011 | Т. 5. № 1 I ФОРСАЙТ | 59
Мастер-класс
• руководящий персонал предприятий лесного сектора в лице менеджеров ИиР и коммерческих директоров;
• представителей организаций, финансирующих международную исследовательскую программу, включая экспертов - членов сети WoodWisdom-Net.
Остановимся подробнее на этапах консультационного процесса. На первом из них ученые из восьми стран опубликовали на веб-сайте около 300 исследовательских тем для последующего обсуждения, привязав свои предложения к заранее установленной таксономии, состоявшей из 22 научных подобластей. На втором этапе эксперты определяли уровень «новизны» представленных тем по 7-балльной шкале Лайкерта. Кроме того, они выразили степень собственной заинтересованности в участии в планируемом исследовательском проекте по рассматриваемой теме5. На третьем этапе руководители предприятий, отобранные финансирующими организациями, оценивали представленные темы по критериям «актуальность для промышленности» и «соответствие тематике WoodWisdom-Net» по 7-балльной шкале Лайкерта. Четвертый этап заключался в робастном портфельном анализе тем [Liesio et al., 2007, 2008; Бруммер и др., 2010а, 2010б] с целью формулирования предложений по исследовательским приоритетам.
По результатам предшествующих этапов были организованы четыре семинара, из которых первые три проводились в кругу ученых и руководителей предприятий, выбранных организациями-инвесторами. На заключительном семинаре встретились представители спонсирующих организаций, которые огласили объемы финансирования, выделяемые на программу. Были сформированы рабочие группы по трем научным подобластям, охватывавшим высокоприоритетные темы, интерес к которым выразили сразу несколько финансирующих организаций. Рабочие группы инициировали конкурсы на участие в международной научной программе. В начале 2007 г. было получено 70 проектных заявок.
Идентификация и оценка потенциальных коллаборативных сетей
Одна из задач WoodWisdom-Net заключается в содействии развитию новых коллаборативных исследовательских сетей. Они могут быть идентифицированы на основе данных, предоставленных учеными в ходе консультаций, поскольку на первом этапе они заявили о себе, предложив темы для исследований, а на втором — выразили свой интерес к работе над ними. Указанная информация позволяет выявить перспективные сети, участники которых готовы работать над одними и теми же исследовательскими темами.
Поскольку темы ИиР оценивались и по дополнительным критериям (учеными — по степени «новизны», а руководителями предприятий — с позиций «актуальности для промышленности» и «соответствия тематике WoodWisdom-Net»), определение общих интересов может быть связано с анализом, базирующим-
ся на иных критериях. В своей совокупности систематический многокритериальный анализ научных тем и оценка уровня интереса предоставляют количественную информацию, достаточную для получения ответа на следующие вопросы:
• Какие исследователи заинтересованы в той или иной теме?
• Какого типа исследовательские сети могут быть выстроены вокруг тем, признанных перспективными с точки зрения «новизны», «актуальности для промышленности» и «соответствия тематике WoodWisdom-Net»?
• Какие научные темы и связанные с ними исследовательские сети могут рассматриваться в качестве наиболее жизнеспособных исходя из результатов многокритериальной оценки и уровня заинтересованности в их разработке?
Последний из перечисленных вопросов наиболее глубокий, так как сочетает выводы многокритериального анализа исследовательских тем с оценкой сетей, которые могут быть выстроены вокруг них.
Робастное портфельное моделирование сетей
Анализ исследовательских сетей и приоритетов ИиР проводился на основе робастного портфельного моделирования [Liesio et al., 2007, 2008; Бруммер и др., 2010а, 2010б]. С его помощью можно количественно оценить привлекательность поступивших предложений (например, исследовательских тем) даже при отсутствии полной информации об относительной важности критериев. Тем самым RPM позволяет учесть нечетко выраженные предпочтения (например, критерия «новизны» по сравнению с критерием «актуальность для промышленности»), которые зачастую легче сформулировать, чем привести точные численные оценки.
В терминологии робастного портфельного моделирования (рис. 1) портфель означает подмножество предложенных исследовательских тем. Общая стоимость портфеля рассчитывается как сумма балльных оценок, присвоенных входящим в него исследовательским темам. В свою очередь, ценность темы определяется суммированием балльных оценок, помноженных на соответствующие весовые коэффициенты критериев [Lindstedt et al., 2008; Liesio et al., 2007, 2008; Бруммер и др., 2010а, 2010б].
При разработке рекомендаций о поддержке тех или иных исследований следует рассматривать исключительно недоминируемые портфели. Портфель считается недоминируемым, если:
• он удовлетворяет условиям оптимальности (т. е. включает четко определенное количество приоритетных тем);
• не существует другого оптимального портфеля, который имел бы более высокую суммарную ценность по всем комбинациям балльных оценок и критериальных весов.
В силу сказанного у недоминируемого портфеля суммарная ценность исследовательских тем, с учетом всех заявленных ограничений, предпочтений и балльных оценок, максимальна.
5 При этом использовалась следующая градация оценок: 0 — отсутствие заинтересованности; 1 — наличие определенного интереса; 2 — значительный интерес; 3 — чрезвычайный интерес.
60 | ФОРСАЙТ | Т. 5. № 1 I 2011
Мастер-класс
Проведенный анализ недоминируемых портфелей позволяет оценить привлекательность отдельных исследовательских тем на основе индекса важности, который определяется как отношение количества недоминируемых портфелей, включающих рассматриваемую тему, к общему числу недоминируемых портфелей.
Таким образом, если значение соотношения равно 1, тема является привлекательной, поскольку даже при отсутствии уточняющей информации входит в оптимальный портфель. Соответственно, если индекс важности равен нулю, тема не заслуживает внимания, так как любой портфель, в который она включена, можно заменить другим, имеющим более высокую ценность, пусть и не охватывающим рассматриваемую тему.
Применительно к анализу сетей WoodWisdom-Net методология RPM (рис. 2) была расширена дополнительными критериями. Балльные значения трех из них — «новизны», «актуальности для промышленности» и «соответствия тематике WoodWisdom-Net» — позволяли оценить привлекательность каждой темы. Четвертый критерий — «сетевой потенциал» (Networking) — указывал на степень готовности ученых, принявших участие в проекте, к работе над рассматриваемой темой. Его значение рассчитывалось посредством оптимизационного алгоритма соотнесения исследователей с соответствующими темами (см. врезку) и суммирования уровней заинтересованности, проявленной исследователями к данной теме. Например, в ситуации, где с темой ассоциировались пять исследователей, четверо из которых выразили чрезвычайную заинтересованность в работе (оценка — 3), а один проявил значительный интерес (оценка — 2), общее значение «сетевого» критерия составило 4x3 + 1x2 = 14. Итоговые результаты были масштабированы так, чтобы их значения по каждому критерию принадлежали интервалу [0, 1].
В такой формулировке суммарная ценность сети, определяемой как совокупность тематического портфеля и ассоциированных с ним ученых, состоит из двух компонентов:
• портфельная ценность — взвешенная сумма ценностей содержащихся в портфеле тем по первым трем критериям;
• сетевая ценность — агрегированный уровень заинтересованности исследователей, которые соотносятся с входящими в портфель темами в оптимальной комбинации.
Степень важности критериев оценивалась посредством интервью с руководством WoodWisdom-Net. Его представители сочли критерии «соответствие тематике WoodWisdom-Net» и «сетевой потенциал» более важными, чем «актуальность для промышленности», которая, в свою очередь, оказалась предпочтительнее «новизны».
Подобного рода неполный рейтинговый ранжир [Salo, Punkka, 2005], где акцент сделан на развитии международных кооперационных сетей, устанавливает следующие ограничения критериальных весов:
w
w
соответствия тематике WoodWisdom-Net
> w
> w
актуальности для промышленности
сетевого потенциала актуальности для промышленности
w > w
актуальности для промышленности новизны
Приведенные выше утверждения, однако, не отражают того, насколько «сетевой потенциал» важнее «соответствия тематике WoodWisdom-Net» или наоборот. Поэтому в принятии решений на основе портфельного метода имеет место фактор неполных предпочтений.
В рамках WoodWisdom-Net анализируемые темы ИиР классифицировались по 22 научным областям. Для расстановки индикативных приоритетов сделано допущение, что финансовую поддержку по программе получит только треть тем из каждой области. При этом предполагалось, что все исследовательские темы требуют равного объема финансирования, а оптимальные портфели содержат не более трети тем из любой рассматриваемой области.
Для идентификации недоминируемых связей ученых с исследовательскими темами были введены дополнительные ассоциативные ограничения. Посколь-
2011 | Т. 5. № 1 I ФОРСАЙТ | 61
Мастер-класс
ку исследователь (или группа ученых) не может одновременно участвовать в нескольких научных проектах в рамках одной программы, был обозначен верхний предел Н = 2, определяющий количество тем, над которыми может работать тот или иной ученый. А чтобы установить оптимальный размер тематических сетей, число исследователей в каждой из них было ограничено нижним пределом U = 3 и верхним U = 5.
Робастный портфельный анализ базировался на вычислении всех недоминируемых сетей. Сеть считается недоминируемой, если:
• она оптимальна (т. е. отвечает портфельным и ассоциативным ограничениям);
• другой оптимальной сети, которая бы продемонстрировала более высокую суммарную ценность по всем оптимальным критериальным весам и балльным оценкам, не существует.
На базе недоминируемых сетей с учетом индекса важности были выявлены соответствующие условия принятия решений, что позволило выделить тематические приоритеты и связи с ними ученых. Как и в стандартной робастной портфельной модели, индекс важности темы либо связи выражает долю недоминируемых сетей, в которых она содержится.
Научные темы и их связи с исследователями классифицируются по трем группам:
• Ключевые темы и связи, которые проявляются во всех недоминируемых сетях и являются предметом специальных рекомендаций.
• Пограничные темы и связи, относящиеся к некоторым недоминируемым сетям. Они могут быть интересны с точки зрения дополнительных преимуществ, особенно если присутствуют в большинстве из них.
Оптимизационные формулировки в робастном портфельном моделировании сетей
Для формального описания метода робастного портфельного моделирования сетей воспользуемся следующими определениями. Пусть имеется m исследовательских тем, принадлежащих множеству X = {x1,..., xm}, которые оцениваются по n критериям. Балльная оценка vj темы xj по г-му критерию является медианой критериальных оценок, сделанных респондентами. Суммарная ценность темы xj выража-етсяаддитивнойоценочнойфункцией(т.е. £”.=1wp’vj), где w — относительная важность (вес) г-го критерия. Исследовательская тема определяется как предпочтительная, если обладает более высокой суммарной ценностью.
Портфель Х — это подмножество всех предложенных исследовательских тем. Общая стоимость портфеля приблизительно равняется сумме совокупных оценок входящих в него тем. Таким образом, для заданной матрицы балльных оценок v и критериальных весов w общая стоимость портфеля р рассчитывается по формуле:
сумме уровней интереса, который ученые проявляют к ассоциируемым с ними темам, помноженных на вес «сетевого» критерия wl, т. е.
V(l, w) = wl £ rj = wl£ £ ykj rj. (2)
(x j fk)e l j = 1k= 1
Здесь бинарная переменная yj = 1, если k-й исследователь ассоциирован с j-й темой (т. е. (xj, fk) е l), и yj = 0 в противном случае.
Сеть — это совокупность портфеля исследовательских тем р и ассоциированных с ним l исследователей данному портфелю. Общая ценность сети определяется суммой ценностей исследовательских тем и сетевых ассоциаций. Таким образом,
V(p, l, w ) = V(p, wp) + V(l, wl) =
n m m h
£wp £zjvj + wl £ £yj rj , (3)
г = 1 j = 1 j = 1k = 1
V(p, wp) = £ £wpvj = £w.£zjvj, (1)
x j e pг = 1 г = 1 j = 1 ’
где z j — бинарная переменная, такая, что z j = 1, если xj e p, и z j = 0 в противном случае.
Пусть cj — количество ресурсов, расходуемых на исследования по теме xj, а b — общий объем имеющихся ресурсов. Портфель p является оптимальным, если количество ресурсов, необходимых для реализации входящих в его состав тем, не превышает доступное, т. е. £х, е pC < b
Предположим, что имеются h исследователей, принадлежащих множеству F = {f^..., fh}, а rj обозначает уровень интереса, проявляемого k-м исследователем к j-й теме. Ассоциация l CX х F связывает исследователей с одной или более темами ИиР. Сетевая ценность ассоциации приближенно равна
где w = (w^,..., wnp, wl)r. Без потери общности эти веса могут быть масштабированы таким образом, чтобы
wс S0
w
n+1
wl c Rn+1 I £ w = 1, w > 0 [.
гг
г = 1 J
определение 1. Сеть (p,l) является оптимальной только в том случае, если удовлетворяет ограничениям:
£=1 cj zj < b (объем ресурсов);
£lk=1ykj < Uzj, Vj (максимум исследователей, связанных с одной темой);
£lk=1yj > Uzj, Vj (минимум исследователей, связанных с одной темой);
62 | ФОРСАЙТ | T. 5. № 1 I 2011
Мастер-класс
• Аутсайдеры, не принадлежащие ни к одной из недоминируемых сетей. Эти темы и ассоциированные с ними связи исключаются из дальнейшего рассмотрения, поскольку можно легко обнаружить более результативные темы и связи в двух других перечисленных группах.
Результаты
Вычисления, связанные с установлением тематических приоритетов и релевантных исследовательских сетей, а также распространение результатов представляли серьезную трудность из-за значительного количества рассматриваемых областей (22), тем (более 300) и исследователей (около 400), в той или иной степени выразивших интерес к представленным темам.
Для представления итогов значения индекса важности рассчитывались в рамках каждой области для всех
тем и ассоциативных связей; они приведены на трех диаграммах. На рис. 3 показаны результаты в области «Композиты из биополимеров на основе древесины», где чрезвычайную заинтересованность в участии в одной или более из 11 входящих в ее состав тем выразили 36 исследователей. Идентификация наиболее приоритетных тем была смоделирована с условием, что любой недоминируемый портфель может содержать не более 4 тем (т. е. отвечает условию «оптимального портфеля»).
Диаграмма А на рис. 3 иллюстрирует индексы важности темы, рассчитанные по четырем критериям: «новизна», «актуальность для промышленности», «соответствие тематике WoodWisdom-Net», «сетевой потенциал». При этом темы № 7 и № 10 присутствуют во всех недоминируемых сетях, а тема № 2 — в большинстве из них. Это означает, что три указанные темы
Zm=1yk ^ H, Ук (лимит тем на одного исследо вателя).
для идентификации и сопоставления недоминируемых сетей:
Множество оптимальных сетей обозначается как N,. Сеть является оптимальной, если:
F
• портфель оптимален (т. е. может быть обеспечен имеющимися ресурсами);
• с каждой темой в портфеле ассоциированы не менее U, но не более U исследователей;
• каждый исследователь ассоциирован не более чем с H темами;
• исследователи ассоциированы только с темами, содержащимися в портфеле р.
Приведенные ограничения помогают избежать ситуации, в которой над некоторыми темами работают чрезмерно крупные сети, некоторые исследователи одновременно занимаются слишком большим числом тем, а часть тем совершенно остается без внимания. В технических терминах ограничения могут быть описаны следующим образом.
Наличие полной информации о весе критерия w позволяет рассчитать оптимальную сеть как решение «проблемы линейного программирования по принципу 0-1» (Zero-One Linear Programming Problem, ZOLP).
max У (p, l, w), (4)
(p,l) EE N,
где У (p, l, w) определяется формулой (1), а линейные ограничения для обеспечения (p,l) е N,, — определением (1).
Определение 2. Сеть (p,l) доминирует над сетью (p’,l’) в отношении оптимального весового множества Sw, определяемого как (p,l) > SJp’,l’), если У (p,l,w) > У (p’,l’,w) для всех w е S и У (p,l,w) > У (p’,l’,w) для некоторых wе Sw.
Рационализм в принятии решений подразумевает максимизацию общей сетевой ценности и, следовательно, отказ от выбора доминируемой сети, так как подразумевает наличие другой сети, обладающей большей суммарной ценностью по всем оптимальным весам. Таким образом, доминируемые сети можно исключить из рассмотрения и сфокусировать внимание на недоминируемых сетях, определяемых множеством Nn :
Nn = {(p,l) е N, I (p’,l’) >> (p,l) y(p’,l’) e N,}. (5)
При применении метода робастного портфельного моделирования к анализу сетей расчет недоминируемых сетей состоит в решении ZOLP-проблемы с неполной информацией о весах n+1 критериев. В результате недоминируемые сети могут быть рассчитаны по алгоритмам, разработанным для недоминируемых портфелей [Liesio et al., 2007a, 2008]. После того как недоминируемые сети определены, для отдельных научных тем и ассоциаций рассчитывается индекс важности.
Поскольку получение полной информации о весе может оказаться затруднительным либо невозможным, робастное портфельное моделирование сетей оперирует множествами оптимальных весов S S 0 , которые согласуются с предпочтениями лиц, принимающих решения. Но поскольку проблема (2) не имеет единственного оптимального решения при наличии неполной информации о весе, целесообразно определить следующее доминантное отношение
Индекс важности темы X:
CI(x>)
|{p | (p,l) <SE Nn, X<= p}\
Nn\
Индекс важности ассоциации (xj, fk):
CI((x>, fk))
|{l |(p,l) Nn, (X, fk) €E l}|
INnI
2011 | T. 5. № 1 I ФОРСАЙТ | 63
Мастер-класс
рис. з. Индекс важности, рассчитанный с учетом сетевых эффектов
Индекс важности тем
1 2 3 4 5 6 7 8 9 10 11
№ темы
Индекс важности исследователей
1 2 3 4 5 6 7 8 9 10 11
№ темы
Степень интереса, выраженного исследователями
1 2 3 4 5 6 7 8 9 10 11
№ темы
1
0.8
0.6
0.4
0.2
0
1
0.8
0.6
0.4
0.2
0
представляют высокий интерес, равно как и темы № 1, № 9 и № 11, которые встречаются и в некоторых недоминируемых сетях. Темы, получившие меньшую поддержку, по всей видимости, не заслуживают дальнейшего внимания.
Диаграмма В содержит значения индекса важности связей исследователей с определенными темами. Ее интерпретация аналогична диаграмме А за исключением значений тех строк, которые отображают возможные связи ученых с темами. Например, если принято решение о поддержке темы № 10, то исходя из диаграммы А можно с легкостью заметить, что во всех недоминируемых сетях над ней могут работать исследователи, обозначенные номерами 4, 5, 17 и 18. Следовательно, они представляют интерес в качестве потенциальных участников сети для разработки данной темы.
Диаграмма С демонстрирует степень заинтересованности ученых в разработке различных тем исходя из количества баллов, присужденных соответствующим темам на втором этапе. В столбцах отражены темы ИиР, а в строках — исследователи. Цветовая гамма диаграммы указывает на степень заинтересованности опрашиваемых: чем темнее цвет, тем она выше (0 — интерес отсутствует; 1 — наличие определенного интереса; 2 — значительный интерес; 3 — чрезвычайный интерес, 5 — тема предложена исследователем). Например, тема № 8 вызвала значительный интерес у большинства респондентов, а исследователь № 19 проявил интерес почти ко всем темам.
64 | ФОРСАЙТ | Т. 5. № 1 I 2011
В целях сопоставления были рассчитаны значения индекса важности без учета «сетевого» критерия (рис. 4). Сравнивая рисунки 3 и 4, можно увидеть, что сетевой эффект дает дополнительную информацию, потому что значения индекса важности для многих научных тем существенно различаются. Так, значительный интерес к теме № 2 проиллюстрирован высоким значением индекса на рис. 3, однако на рис. 4 ей соответствует гораздо более низкий индекс. Ситуация в отношении темы № 11 противоположная: интерес к ней существенно ниже, хотя в свете оценки по трем базовым критериям тема выглядит привлекательной. Как видим, метод робастного портфельного моделирования сетей обеспечивает идентификацию исследовательских тем не только по оценочным критериям, но и учитывает степень интереса ученых.
Дискуссия
Высокий уровень сетевого сотрудничества — ключевой фактор результативности инновационной системы и, следовательно, одна из главных задач планирования программ ИиР. Отсюда следует, что создание новых коллаборативных научных сетей должно стать центральным звеном в подготовке подобных программ, особенно международных, где развитию сетей препятствует широкое многообразие культур и организационных практик. Применяя системные методологии при формировании сетей, можно достичь и других желаемых параметров, таких как повышение открытости и улучшение управляемости (т. е. масштабируемости в зависимости от количества рассматриваемых тем и вовлеченных участников).
Отталкиваясь от приведенных наблюдений, для поддержки формирования новых исследовательских сетей мы разработали методологию робастного портфельного моделирования. Метод вносит вклад в развитие коллаборативной деятельности, способствует определению тематических приоритетов и созданию новых сетей на основе многокритериального анализа исследовательских тем, а также позволяет оценить степень заинтересованности потенциальных участников. В планировании программ ИиР результаты портфельного моделирования выполняют ряд функций, а именно:
• предоставляют финансирующим организациям информацию о потенциале рассматриваемых исследовательских тем, выраженную в количественной оценке привлекательности и степени интереса к ним;
Рис. 4. индекс важности, рассчитанный без учета сетевых эффектов
1
0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0
1 2 3 4 5 6 7 8 9 10 11
№ темы
Мастер-класс
• помогают возможным участникам программ идентифицировать потенциальных партнеров с комплементарными интересами;
• способствуют запуску проектов, ориентированных на обозначенные приоритеты, что, в свою очередь, облегчает реализацию последних.
Прокомментируем перечисленные функции подробнее. Согласно первому пункту, данные систематического сбора информации о перспективных научных темах и ее анализа демонстрируют финансирующим организациям уровень интереса к ним исследователей. Это поможет инвесторам определить объем финансирования, необходимого для реализации программ ИиР. Также снижаются риски получения недостаточного либо избыточного числа заявок при проведении конкурсов: в первом случае поддержку получили бы проекты, уровень качества которых ниже желаемого; во втором — из-за ограниченности общего бюджета значительная доля предложений могла быть отвергнута.
Международные программы, в которых информация генерируется «снизу», имеют дополнительное преимущество, поскольку все финансирующие организации находятся в равных условиях: это позволяет минимизировать риск возникновения ситуации, при которой более влиятельные субъекты пытаются навязать свою точку зрения другим участникам.
Во-вторых, результаты робастного портфельного моделирования сетей позволяют выявить круг ученых, заинтересованных в работе над одними и теми же темами с точки зрения комплементарности и междисциплинарности: например, на основе рассчитанного индекса важности финансирующие организации имеют возможность составить и распространить списки тех исследователей, которые выразили одинаковые интересы. Подобные перечни облегчают ученым поиск потенциальных партнеров как в рамках конкретной программы ИиР, так и с точки зрения перспектив сотрудничества по другим проектам.
По сравнению с иными традиционными подходами к созданию сетей, например, организацией международных семинаров, комбинация Интернет-опросов и сетевого анализа — более открытый и не столь затратный процесс. Следует учитывать и то, что, поскольку выявленные в ходе анализа сети строятся на основе общих интересов акторов, а не предшествующего опыта их совместной работы, может быть минимизирован риск получения заявок от участников ранее сформированных и, возможно, имеющих лишь внутринациональные интересы сетей.
В-третьих, преимущество робастного сетевого анализа в том, что его результаты позволяют определить ученых, проявляющих общий интерес к одним и тем же приоритетным темам, что обеспечит наиболее эффективную реализацию последних. Это помогает решить сложную проблему — как оптимально реализовать итоги Форсайта на практике? Оценка результатов сетевого анализа дает возможность легко идентифицировать сети исследователей, связанных с соответствующими приоритетами, что может быть использовано при реализации программ ИиР.
К тому же источники количественной оценки — Интернет-опросы и многокритериальный анализ —
должны играть вспомогательную роль по отношению к другим формам консультационной деятельности, таким как специализированные семинары. Это объясняется тем, что анкетирование не всегда охватывает полный спектр аспектов, связанных с тематическими приоритетами (например, навыки и компетенции предлагающих их ученых); к тому же, вне рамок семинаров сложно решить проблемы избыточности предложенных тем, их дублирования либо отсутствия у участников интереса к определенным востребованным темам исследований. Далее, сетевой анализ предоставляет информацию о степени привлекательности тем и ассоциированных с ними сетей с учетом выраженных предпочтений. Более того, он может быть расширен путем введения дополнительного оценочного критерия для навыков и компетенций и иных релевантных показателей. Модель может использоваться и при принятии решений о финансировании проекта, так как не только учитывает его ресурсные и стоимостные ограничения, но и отражает преимущества с точки зрения релевантного оценочного критерия (включая ценность сетевого сотрудничества).
Результаты робастного портфельного моделирования сетей, проведенного в ходе консультативного процесса «Совместное формирование исследовательских программ в рамках WoodWisdom-Net», были представлены финансирующим организациям и использовались ими для организации конкурсов. Если бы рассмотренная методология была разработана еще на начальном этапе процесса, она получила бы более широкое распространение (в настоящее время анализ потенциальных сетей чаще всего проводится уже после утверждения значительной части приоритетов). Тем не менее, робастные портфельные модели сетей представляют определенную пользу. Целесообразно дополнительно исследовать практику использования рассматриваемого метода, чтобы оценить его преимущества и ограничения, а также степень применимости в различных ситуациях. В частности, представляется, что успешная мобилизация научного сообщества, предложение достаточно широкого спектра тем и высокое качество оценок — критически важные предпосылки для успешного использования указанной методологии.
Заключение
Синхронизация национальных инновационных систем путем формирования общего видения, определения стратегических приоритетов и выстраивания коллаборативного сотрудничества, вероятно, одна из ключевых проблем политики в сфере ИиР. Интернациональные партнерские проекты играют все более важную роль в успехе инновационных систем [Jewell, 2003]. Понимание этого факта стимулировало разработку политических инициатив, нацеленных на развитие сотрудничества между национальными инновационными системами, таких как Европейское исследовательское пространство. К тому же, несмотря на консенсус в отношении преимуществ международной кооперации и принятие ряда действенных политических мер, системные методы совместного определения тематических приоритетов и коллаборативных сетей
2011 | Т. 5. № 1 I ФОРСАЙТ | 65
Мастер-класс
в рамках программ ИиР в литературе представлены недостаточно.
В ответ на существующую потребность нами разработана методология робастного портфельного моделирования сетей, применимая как в национальных, так и в международных программах ИиР для совместного установления тематических приоритетов и формирования перспективных коллаборативных сетей, посредством которых они могут быть реализованы наиболее эффективно. В частности, методология позволяет
организациям-инвесторам активно участвовать в создании исследовательских сетей, которые сфокусированы на определенных тематических приоритетах и призваны объединить ученых, заинтересованных в их реализации. Опыт применения робастного портфельного моделирования сетей в рамках инициативы WoodWisdom-Net свидетельствует о жизнеспособности данного инструмента, однако требуются дополнительное изучение возможностей его практического использования и уточнение методологии. О
Бруммер В., Коннола Т., Сало А. (2010a) Многообразие в Форсайт-исследованиях: практика отбора инновационных идей // Форсайт.
Т. 4. № 4. С. 56-68.
Бруммер В., Коннола Т., Сало А. (2010б) Разработка национальных приоритетов для технологической платформы лесного сектора // Форсайт. Т. 4. № 2. С. 44-56.
Arranz N., Fernandez de Arroyabe J.C. (2006) Joint R&D projects: experiences in the context of European technology policy // Technological Forecasting and Social Change. Vol. 73. № 7. Р. 860-885.
Barre R. (2002) Synthesis of Technology Foresight / Tubke A.A., Ducatel K., Gavigan J., Moncada P. (eds.). Strategic Policy Intelligence: Current Trends, the State of Play and Perspectives. Technical Report EUR-20137-EN. Institute for Prospective Technological Studies (IPTS). Seville. Brummer V., Konnola T., Salo A. (2008) Foresight within ERA-NETs: experiences from the preparation of an international research program // Technological Forecasting and Social Change. Vol. 75. № 4. P 483-495.
Camarinha-Matos L.M., Afsarmanesh H. (2003) Elements of a base VE infrastructure // Computers in Industry. Vol. 51. P 139-163. Camarinha-Matos L.M., Afsarmanesh H. (2005) Collaborative networks: a new scientific discipline // Journal of Intelligent Manufacturing.
Vol. 16. №№ 4-5. P. 439-452.
Camarinha-Matos L.M., Afsarmanesh H. (2007) Results assessment and impact creation in collaborative research — an example from the ECOLEAD project // Technovation. Vol. 27. №№ 1-2. P 65-77.
Chataway J., Webster A., Wield D. (1999) Introduction: technologies in transition // Technovation. Vol. 19. №№ 6-7. Р. 339-344.
Clark J., Guy K. (1998) Innovation and competitiveness: a review // Technology Analysis and Strategic Management. Vol. 10. № 3. P 363-395. European Commission (2003) Innovation Policy: Updating the Union’s Approach in the Context of the Lisbon Strategy. European Commission COM112 Final. http://ec.europa.eu/enterprise/innovation/communication/doc/innovation_comm_en.pdf.
Fritsch M., Lucas R. (1999) Who cooperates on R&D? // Research Policy. Vol. 30. Р 297-312.
Hellstrom T., Eckerstein J., Helm A. (2001) R&D management through network mapping: using the internet to identify strategic network actors in cooperative research networks // R&D Management. Vol. 31. № 3. P. 257-263.
Henriksen A.D., Traynor A.J. (1999) A practical R&D project-selection scoring tool // IEEE Transactions on Engineering Management. Vol. 46.
№ 2. P. 158-170.
Irvine J., Martin B.R. (1984) Foresight in Science, Picking the Winners. London: Dover.
Jewell T. (2003) International foresight’s contribution to globalization // Foresight - The Journal of Futures Studies, Strategic Thinking and Policy. Vol. 5. № 2. P. 46-53.
Kauffman A., Todtling F. (2001) Science-industry interaction in the process of innovation: the importance of boundary-crossing between systems // Research Policy. Vol. 30. P. 791-804.
Keiser R., Prange H. (2004) The reconfiguration of national innovation systems — the example of German biotechnology // Research Policy.
Vol. 33. P. 395-408.
Klaassen G., Miketa A., Larsen K., Sundqvist T. (2005) The impact of R&D on innovation for wind energy in Denmark, Germany and the United Kingdom // Ecological Economics. Vol. 54. P. 227-240.
Koschatzky K., Sternberg R. (2000) R&D cooperation in innovation systems — some lessons from the European regional innovation survey // European Planning Studies. Vol. 8. № 4. P. 487-501.
Konnola T., Unruh G.C., Carrillo-Hermosilla J. (2006) Prospective voluntary agreements for escaping techno-institutional lock-in // Ecological
Economics. Vol. 57. № 2. P. 239-252.
Kuhlmann S., Edler J. (2003) Scenarios of technology and innovation policies in Europe: investigating future governance // Technological Forecasting and Social Change. Vol. 70. P. 619-637.
Lau C.W.L., Wong E.T.T. (2001) Partner selection and information infrastructure of a virtual enterprise network // International Journal of Computer Integrated Manufacturing. Vol. 14. № 2. P. 186-193.
Liang S-K., Yuan B., Chow L.R. (1999) A decision model linkage between technology forecasting, technology dominance and technology strategy // International Journal of Technology Management. Vol. 18. №№ 1-2. P. 46-55.
Liesio J., Mild P. , Salo A. (2007) Preference programming for Robust Portfolio Modeling and project selection // European Journal of Operational Research. Vol. 181. № 3. P. 1488-1505.
Liesio J., Mild P. , Salo A. (2008) Robust Portfolio Modeling with incomplete cost information and project interdependencies // European Journal of Operational Research. Vol. 191. № 3. P. 679-695.
Lindstedt M., Liesio J., Salo A. (2008) Participatory development of a strategic product portfolio in a telecommunication company // International Journal of Technology Management. Vol. 42. № 3. P. 250-266.
Love J.H., Roper S. (2001) Location and network effects on innovation success: evidence for UK, German and Irish manufacturing plants // Research Policy. Vol. 30. P. 643-661.
Oral M., Kettani O., Lang P. (1991) A methodology for collective evaluation and selection of industrial R&D projects // Management Science.
Vol. 37. № 7. Р 871-885.
Pochet P (2005) The open method of co-ordination and the construction of social Europe: a historical perspective / Zeitlin J., Pochet P. (eds.).
The Open Method of Coordination in Action. The European Employment and Social Inclusion Strategies. Brussels: PIE-Peter Lang.
Poh K.L., Ang B.W., Bai F. (2001) A comparative analysis of R&D project evaluation methods // R&D Management. Vol. 31. № 1. P. 63-75.
Prange H. (2003) Technology and innovation policiers in the European system of multi-level governance // Techikfolgenabschatzung — Theorie und Praxis. Vol. 12. № 2. P. 11-20.
Saaty T.L. (1980) The Analytic Hierarchy Process. New York: McGraw-Hill.
Salmenkaita J.-P. , Salo A. (2002) Rationales for government intervention in the commercialisation of new technologies // Technology Analysis and Strategic Management. Vol. 14. № 2. P. 183-200.
Salo A., Gustafsson T., Ramanathan R. (2003) Multicriteria methods for technology foresight // Journal of Forecasting. Vol. 22. №№ 2-3. P. 235-255. Salo A., Liesio J. (2006) A case study in participatory priority-setting for a Scandinavian research program // International Journal of Information Technology and Decision Making. Vol. 5. № 1. P. 65-88.
Salo A., Konnola T., Hjelt M. (2004) Responsiveness in foresight management: reflections from the finnish food and drink industry // International Journal of Foresight and Innovation Policy. Vol. 1. № 1. Р. 70-88.
Salo A., Punkka A. (2005) Rank inclusion in criteria hierarchies // European Journal of Operational Research. Vol. 163. № 2. P. 338-356.
Salo A., Salmenkaita J.-P. (2002) Embedded foresight in RTD programmes // International Journal of Technology, Policy and Management. Vol. 2. № 2. P. 167-193.
Stewart T.J. (1991) A multi-criteria decision support system for R&D project selection // Journal of the Operational Research Society. Vol. 42. № 1.
P. 17-26.
Tian Q., Ma J., Liang J., Kwok R.C.W, Liu O. (2005) An organisational decision support system for effective R&D project selection // Decision Support Systems. Vol. 39. № 3. P. 403-413.
Webster A. (1999) Technologies in transition, policies in transition: foresight in the risk society // Technovation. Vol. 19. № 6. P. 413-421.
66 | ФОРСАЙТ | T. 5. № 1 I 2011
