CC BY-NC-ND
218
Мастер-класс
Лучшие практики оценки научно-технологического Форсайта:
базовые элементы и ключевые критерии1
Е.А. Макарова*, А.В. Соколова**
По мере усиления влияния Форсайт-иссле-дований на формирование стратегий развития ужесточаются требования к качеству и обоснованности их результатов. Экспертиза Форсайт-проектов позволяет оценить эффективность мероприятий, принять решение о целесообразности их продолжения или мерах совершенствования.
В статье анализируются теория и лучшие практики оценки Форсайт-проектов, предпринята попытка систематизировать ее базовые элементы, критерии и методы. Предложена основа для разработки единой методологии оценки национальных Форсайт-программ.
* Макарова Екатерина Александровна — стажер-исследователь, Лаборатория исследований науки и технологий. E-mail: kmakarova@hse.ru
** соколова анна Владимировна — старший научный сотрудник, Лаборатория исследований науки и технологий. E-mail: avsokolova@hse.ru
Институт статистических исследований и экономики знаний НИУ ВШЭ
Адрес: Национальный исследовательский университет «Высшая школа экономики», 101000, Москва, Мясницкая ул., 20
Ключевые слова
Форсайт; оценка; управление проектами; лучшие практики.
1 Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ в 2012 г.
62 I ФОРСАЙТ | Т. 6. № 3 I 2012
Мастер-класс
Форсайт как один из наиболее эффективных инструментов исследования будущего применяется в широком спектре областей: от научнотехнологического прогнозирования до формирования стратегий развития отдельных компаний, отраслей и стран. С каждым годом расширяется круг государств, реализующих Форсайт-проекты, растет число самих проектов: с 2005 по 2009 гг. оно удвоилось [Popper, 2009].
По мере усиления влияния Форсайт-исследований повышаются требования к качеству и обоснованности их результатов. Следовательно, большое значение приобретают своевременное выявление и устранение возможных организационных недостатков, которые могут быть обеспечены только в ходе комплексной оценки проектов. Экспертиза Форсайта необходима для анализа эффективности реализованных мероприятий, полученных результатов и путей совершенствования исследований [Georghiou, 2003].
Первые инициативы по оценке национальных Форсайт-программ были предприняты в конце 1990-х гг. По данной теме появились многочисленные научные публикации. Основное внимание в них уделялось изучению факторов, определяющих успех Форсайта и его влияние, поиску оптимальных критериев и методов, а также разработке соответствующих алгоритмов оценки [Майсснер, Сервантес, 2010; Meissner, 2012; Destatte, 2007; Calof Smith, 2008; Alsan, Oner, 2004; Li et al., 2009, и др.].
В настоящее время в ряде стран ведутся крупномасштабные специализированные проекты по оценке
национальных Форсайтов, на базе которых определяется дальнейший вектор развития исследований будущего, анализируются их отдельные элементы c целью совершенствования методологии. Ключевые инициативы представлены на рис. 1 в соответствии с фокусом (процесс реализации Форсайта, итоги, оказанное влияние) и сроком реализации.
Как показывает международная практика, в большинстве случаев временной интервал между реализацией исследования (или его этапа) и оценкой не превышает одного года, более того, подобные мероприятия зачастую начинаются еще в ходе проекта. Это связано, прежде всего, с тем, что заключения экспертизы непосредственно влияют на принятие решения о проведении следующего этапа (как, например, в Германии, Швеции и Великобритании) или инициировании нового Форсайта (Венгрия). В то же время в Японии между самими Форсайт-программами и их оценкой прошло более двадцати лет. Такой временной промежуток позволил охарактеризовать точность долгосрочных прогнозов.
Многообразие подобных кейсов свидетельствует о высокой заинтересованности стейкхолдеров различного уровня в оценке Форсайта. Тем не менее общие принципы ее организации и проведения до сих пор не сформулированы, что сдерживает развитие данной деятельности и распространение успешного опыта.
Необходимо выделить ключевые элементы, по которым будет проводиться оценка, и определить для них базовые критерии. Предлагаемый нами перечень элементов составляют: цели, проектная команда,
Рис. 1. Обзор наиболее значимых проектов по оценке национальных Форсайт-программ
Оценка «Дельфи-Австрия» (1996-1998) Оценка второго цикла технологического Форсайта Швеции (2002-2003) Оценка второй фазы германской программы FUTUR (2003-2005)
Оценка первого раунда национальной Форсайт- Оценка Венгерской Оценка третьего программы раунда национальной Оценка колумбийской программы
и
о
программы
Великобритании
(1994-1998)
Оценка первого цикла технологического Форсайта Швеции
(1997-2000)
технологического Форсайта(1997-1999)
Великобритании
(2002-н.в.)
технологического и промышленного Форсайта(2003-2008)
Оценка первой фазы германской программы FUTUR
(2001-2003)
Оценка первой фазы Форсайта Колумбии
(2003-2004)
Оценка Первого (1971 г.) и Второго (1976 г.) научнотехнологических прогнозов Японии
Оценка второго цикла технологического Форсайта Швеции
(2002-2003)
Ш1
ог
Fu
>0:
оценка
[цузской
ограммы
|Futuris»
03-2005)
1995
1999 2000 2001 2002 2003 2004
Период проведения оценки
2005
2006
2007
2008
Источник: составлено авторами по материалам [Aichholzer, 2001; Bjorn, Ltibeck, 2003; Cuhls, Georghiou, 2004; Daim et al., 2009; Dursun et al., 2011; FOR-LEARN online Foresight Guide; Georghiou et al., 2004a; Georghiou et al., 2006; Havas et al., 2007; Kuwahara et al., 2004; Wood, 2001].
2012 | Т. 6. № 3 | ФОРСАЙТ I 63
Мастер-класс
заказчик(и), стейкхолдеры, методология, организация, ресурсы, результаты и эффекты Форсайт-исследования. Правомерность обозначенного состава элементов и соответствующих критериев основана на анализе опыта управления проектами и теории Форсайт-исследований, а также изучения практических примеров оценки национальных Форсайт-программ. Выбор кейсов базировался на следующих критериях и показателях:
• влияние на развитие Форсайт-исследований и научно-техническую политику в стране;
• временной фактор (осуществление в течение последнего десятилетия);
• масштабы оценки (анализ всей программы);
• наличие наиболее значимых результатов2 с точки зрения задач и объектов оценки, использованных методов и полученных выводов.
Кроме того, мы стремились представить проекты, различающиеся по социально-экономическим характеристикам страны проведения (если Германия и Великобритания имеют схожие черты, то экономические уклады Турции, Венгрии и Колумбии существенно отличаются) и по типу оценки (текущая для Форсайт-программы Великобритании, итоговая для программ Турции, Венгрии и Колумбии, промежуточная для германской программы FUTUR).
Для изучения отобранных проектов разработана стандартная схема, включающая определение задач, объекта, методов и итогов оценки, что позволило выявить наиболее общие элементы различных подходов к оцениванию Форсайт-исследований.
Базовые концепции оценки Форсайт-исследований
Опыт общей теории оценки и управления проектами
Ряд базовых подходов к экспертизе Форсайт-проектов заимствован из теоретических и практических концепций общей теории оценки. Это относится, например, к типам оценивания, которое может быть общим (рассматриваются весь набор примененных инструментов, целевые группы, ожидаемые эффекты); тематическим (фокус на отдельных элементах); предварительным (осуществляется до реализации проекта) и т. д. [European Commission, 1999]. Среди подходов к проведению экспертизы выделяют: ориентированность на задачи [Tyler, 1942], конструктивность — поиск консенсуса между всеми заинтересованными сторонами [Guba, Lincoln, 1989] и партисипативность, предполагающую вовлечение и совместную работу максимального числа стейкхолдеров [Owen, Lambert, 1998].
Существенный опыт проведения оценочных мероприятий накоплен в рамках теории и практики управления проектами. Под проектом в данном случае понимается совокупность ограниченных по времени взаимосвязанных видов деятельности, направленных на достижение специфической цели — создание уникального продукта или услуги [PMI, 1996; Phillips
et al., 2002]. Указанные характеристики — временные ограничения, «специфичность» цели и «уникальность» продукта (рекомендаций, дорожных карт, перечней критических технологий) — присущи Форсайт-исследованиям [Popper et al., 2010]. Поэтому, при определенной адаптации, опыт управления проектами может быть использован в их оценке.
Для оценки эффективности проектов, прежде всего их потенциальной прибыльности, применяется широкий арсенал методов [Remer et al., 1993; Remer, Nieto, 1995; Mishra, 2009; Phillips et al., 2002; Godinho et al., 2004, и др.], значительная часть которых обосновывает целесообразность проекта с финансовой точки зрения. Комплексность анализа Форсайт-проекта обеспечивается за счет включения, помимо экономической составляющей, таких элементов, как цели, стейкхолдеры, влияние и эффект.
Так, для оценки целей применяются критерии системы SMART (конкретность (Specific); измеримость (Measurable); достижимость (Achievable); правомерность (Relevant); контролируемость по времени (Timed)) и правило ABCD. Согласно последнему, в задачах должна отражаться информация о целевой аудитории (Audience), ее ожидаемом поведении (Behaviour), условиях (Conditions) и критериях оценки степени реализации (Degree) [Phillips et al., 2002; HM Treasury, 2003; Ricker et al., 1998]. При характеристике других элементов используются опросы, анализ документов, презентации, работа фокус-групп, статистический и мультикритериальный анализ, портфолио-методы [Zarinpoush, 2006; Westat, 2002; Eilat et al., 2008; Ricker et al., 1998; Bohanec et al, 1995; CROWN, 2009, и др.].
Разнообразие применяемых критериев и методов обусловливает широкий спектр подходов к организации оценочных процедур. Число обязательных стадий и их содержание значительно варьируются от проекта к проекту [HM Treasury, 2003; Westat, 2002; Ricker et al., 1998, и др.]. В ряде случаев применяется иерархия Беннета (Bennett’s Hierarchy), включающая: ресурсы; виды деятельности; вовлеченность участников; обратную связь; изменения в системе знаний; отношения; умения и предпочтения, результаты [Bennett, 1975]. Специалисты Японского агентства по международному сотрудничеству (Japan International Cooperation Agency, JICA) предложили алгоритм из трех этапов: оценка эффективности проекта; анализ экспертных мнений; извлечение уроков и рекомендации для следующих стадий проекта или новых инициатив [JICA, 2004]. Наиболее общая последовательность действий по экспертизе проектов охватывает подготовительные работы, моделирование, сбор и анализ данных, экономическую оценку, распространение результатов.
Ниже мы определим ключевые элементы системы оценки Форсайт-исследований, а также попытаемся выявить возможные направления ее совершенствования на основе опыта управления проектами.
2 Результаты оценки национальных Форсайт-программ, как правило, не публикуются в открытом доступе. Так, лишь по нескольким из представленных на рис. 1 проектам доступны полные отчеты, отражающие информацию о структуре процесса, применявшихся подходах и методах, полученных результатах и разработанных рекомендациях; в остальных случаях сведения крайне ограничены. Доклады по оценке программ FUTUR и «Vision 2023» не были опубликованы, однако минимально необходимая информация представлена в ряде статей [Cuhls, Georghiou, 2004; Dursun et al., 2011, и др.].
64 I ФОРСАЙТ | Т. 6. № 3 I 2012
Мастер-класс
Теоретические аспекты оценки Форсайт-исследований
Теоретическое оценивание Форсайт-программ ведется по трем направлениям: анализ факторов, способствующих успеху Форсайта, его эффектов и выбор оптимальных элементов экспертизы (методы, критерии, алгоритм и т. д.).
Программы могут характеризоваться как результативные, при условии наличия возможности эффективно извлекать знания о будущем и творческого подхода к разработке стратегий [Bezold, 2010]. К числу других критериев успешности относятся обязательная экспертиза темы, методологии и процесса [Habegger, 2010]; точная идентификация заказчика; связь с текущей политической повесткой; интенсивное взаимодействие представителей частного и государственного секторов; наличие четко определенной коммуникационной стратегии; глубокое вовлечение стейкхолдеров и др. [Calof, Smith, 2008].
В рамках различных подходов к интерпретации успешности Форсайта выявлен ряд стимулирующих факторов:
• наличие плана реализации исследования;
• достаточный уровень авторитета членов команды;
• открытость и прозрачность процесса;
• привлечение заинтересованных лиц из научного сообщества, бизнеса, государственного управления и общественных организаций [Майсснер, Сервантес, 2010].
Анализ представленных подходов позволяет выявить основные требования к эффективной реализации проекта: привлечение стейкхолдеров из разных сфер и обеспечение активного диалога между ними, связь с текущей стратегией развития страны, региона или отрасли, творческий подход, учет опыта предшествующих проектов.
Влияние Форсайт-исследований на экономику и общество выступает одновременно и ключевым показателем оценки, и одним из важнейших побудительных мотивов к их осуществлению. Его объектом могут быть: научно-техническая и инновационная политика, национальная инновационная система, конкурентоспособность страны, бизнес-среда и др. [Popper et al., 2010; Havas et al., 2010; Rollwagen et al., 2008; Meissner, Cervantes, 2008].
При анализе эффектов рекомендуется совместно рассматривать внутренние (относящиеся к участникам, процессу, целям, затраченным ресурсам и выходным результатам) и внешние факторы с учетом воздействия широкого окружения (институциональная среда, социокультурный аспект, уровень развития «общества знания», факторы управления и политической культуры) [Amanatidou, Guy, 2008]. Кроме того, может изучаться вклад Форсайт-программ в формирование «общества знания» [Rollwagen et al., 2008].
Наряду с оценкой успешности и влиятельности Форсайт-программ исследователи уделяют серьезное внимание вопросам выбора критериев оценивания. В качестве базовых фигурируют: целесообразность, эффективность, результативность, правомерность
[Georghiou, Keenan, 2006; Meissner, Cervantes, 2008; Popper et al., 2010; Destatte, 2007]. Критерий «изменение моделей поведения» (behavioural additionality) активно применяется при оценке влияния и представляет собой различие в поведении субъектов (компаний, правительств, стран и др.), проявившееся в итоге осуществления Форсайта [Georghiou et al., 2004b]. Более частные критерии, предназначенные для характеристики отдельных элементов исследования, как правило, разрабатываются в рамках практических оценочных процедур.
Практический опыт оценки Форсайт-исследований
национальная программа технологического Форсайта Венгрии
Среди стран Центральной и Восточной Европы национальный Форсайт первой инициировала Венгрия в 1997 г. с целью идентификации долгосрочных исследовательских задач и приоритетов, способствующих формированию активной «догоняющей» стратегии развития страны [Kovats, 2000; Rader, 2003]. Тематический охват исследования включал человеческие ресурсы, здравоохранение, информационные технологии, промышленность и бизнес, энергетику, транспорт, сельскохозяйственное производство и защиту окружающей среды. Ключевыми инструментами служили разработка макросценариев, Дельфи и экспертные панели.
Участники проекта пришли к заключению, что устранению отставания Венгрии от развитых стран должна способствовать концентрация на таких направлениях, как образование, здравоохранение, культура населения и экология. Кроме того, подчеркивалась необходимость создания эффективной национальной инновационной системы [Kovats, 2000].
Экспертиза Форсайта проводилась в 2003-2004 гг. международной экспертной группой, сформированной на базе Центра исследований научно-технической политики Университета Манчестера (PREST)3. Были проанализированы рациональность и важность первоначальных целей программы, эффективность организационной структуры и управления. Рассматривались также обоснованность вложенных затрат, барьеры для реализации разработанных по итогам Форсайта рекомендаций и оказанное им влияние [Georghiou, Keenan, 2006].
Главным источником данных для оценки служило анкетирование. Опросный лист состоял из нескольких тематических блоков, посвященных целям, методологии, организации, достигнутым эффектам, влиянию и направлениям развития Форсайта в стране. С целью уточнения и расширения полученных данных дополнительно проводились интервью и анализ отчетной документации. Структура оценки Форсайт-программы Венгрии представлена на рис. 2.
Оценка отдельных направлений (цели, методы, эффекты и др.) осуществлялась по различным шкалам. Так, целям и результатам в зависимости от степени важности присваивалось от одного до пяти баллов. При изучении самого процесса Форсайта респонденты руководствовались градацией «хорошо -
3 В настоящее время — Манчестерский институт инновационных исследований (Manchester Institute of Innovation Research, MIoIR) того же университета.
2012 | Т. 6. № 3 | ФОРСАЙТ I 65
Мастер-класс
Рис. 2. Структура оценки Форсайт-программы Венгрии
_ Оценить эффективность достижения целей
• Важность целей
• Соответствие методов целям
• Качество доступной участникам информации
• Взаимодействие между участниками
• Направления влияния
• Важность рекомендаций
• Эффективность методов
• Эффективность программы в отношении основных целей
• Анкетирование
• Опросы
• Анализ документов
Определить направления ■> развития Форсайта в Венгрии
• Потребность в новых Форсайт-программах -► • Направления и формы осуществления новых Форсайт-программ
Результат
• Подготовлены заключения по каждому из оцениваемых направлений
• Определены сферы наибольшего и наименьшего влияния Форсайта
• Определена целесообразность дальнейшего проведения национального Форсайта
Источник: составлено авторами на основе [Georghiou et al., 2004a; Georghiou, Keenan, 2006].
удовлетворительно - плохо» [Georghiou et al., 2004a]. Кроме того, методы ранжировались по степени их полезности, а разработанные рекомендации — по величине эффективности.
Были определены сферы наибольшего влияния Форсайт-программы, в том числе выявление долгосрочных приоритетов и распространение междисциплинарного подхода. Значительным оказалось также воздействие Форсайта на формирование государственной политики (в области транспорта, здравоохранения и др.), однако оно нашло свое воплощение в «достаточно медленных и нелинейных процессах» [ Georghiou, Keenan, 2006]. Наименьшее влияние, по мнению экспертов, программа оказала на тематику научных исследований в производственном и государственном секторах.
В блоке анкеты, посвященном определению будущих направлений развития Форсайта, содержались вопросы о необходимости новых проектов и форме их осуществления [Georghiou et al., 2004a].
Итоговый вывод заключался в том, что на текущий момент потребность в осуществлении столь же масштабной Форсайт-программы в Венгрии отсутствует, однако спустя десятилетие аналогичное исследование целесообразно повторить.
Проведение оценки способствовало определению вектора развития Форсайт-исследований и позволило выявить слабые места, которые могут быть учтены при реализации последующих программ. Однако ее характер признан достаточно субъективным, главным образом из-за отсутствия четких количественных и качественных критериев.
Национальная Форсайт-программа Великобритании
В 1993 г. Министерство науки Великобритании опубликовало доклад «Реализуя наш потенциал» («Realising
our Potential»), обозначивший необходимость проведения в стране национального Форсайта [ Wood, 2001]. Год спустя стартовал первый раунд национальной Форсайт-программы, нацеленный на определение будущих возможностей и вызовов в научно-технологической сфере и обеспечение эффективного взаимодействия между представителями научной среды, промышленности и государственного управления [Miles, 2003].
Программа проводилась в три раунда. Структуру первого составили отраслевые панели (в сфере энергетики, транспорта, финансовых услуг и др.), которые на втором этапе были дополнены тематическими панелями («Стареющее население», «Предупреждение преступности», «Промышленность в 2020 году») и сопутствующими программами, нацеленными на анализ отдельных тем. В третьем раунде на смену панельной структуре пришел проектный принцип. Ряд проектов уже завершились, некоторые из них продолжаются в настоящее время4. В рамках британского Форсайта проводились опросы Дельфи, разрабатывались сценарии и идентифицировались ключевые тренды.
В ходе первого раунда были определены приоритетные направления науки и технологий, подготовлены рекомендации по их развитию [Miles, 2003]. Анализ второго цикла выявил ряд недостатков в организации программы, в связи с чем было решено осуществить ее комплексную реструктуризацию, переведя на проектную основу. Важнейшими итогами третьего раунда стали идентификация вызовов и возможностей, возникающих в рамках новых направлений науки и технологий, и разработка рекомендаций для решения актуальных социальных проблем [Georghiou et al., 2006].
Оценка третьего раунда программы Великобритании проводилась в 2005 г. экспертами PREST. Объектами экспертизы являлись организация Форсайта и его
4 Более подробная информация о проектах представлена на сайте http://www.bis.gov.uk
66 I ФОРСАЙТ | Т. 6. № 3 I 2012
Мастер-класс
эффекты, а базовым методом стали интервью. Помимо этого программа была проанализирована в контексте мирового опыта организации исследований будущего с точки зрения целей, ресурсов, процесса, продуктов и эффектов [Georghiou et al., 2006]. Для достижения четкого понимания взаимосвязи между целями, проводимыми мероприятиями и итогами проекта эксперты разработали логическую схему его реализации [там же]. Это позволило рассмотреть иерархию целей, действий и эффектов и, таким образом, определить ожидаемые направления влияния (рис. 3). Кроме того, подобная схема упрощает проверку логики построения программы и формирует каркас для ее оценки.
Достигнутые результаты разделялись на кратко-, средне- и долгосрочные. К первым были отнесены выявление ключевых областей, формирование новых команд экспертов и стейкхолдеров; в качестве среднесрочных рассматривались определение различных вариантов будущего, разработка рекомендаций и выбор направлений развития экспертных сетей; долгосрочными считались эффекты для направлений исследований и разработок (ИиР) в государственном и частном секторе, научно-технологической политики и становления Форсайт-культуры.
Структура оценки третьего раунда Форсайта Великобритании приведена на рис. 4.
Эксперты пришли к выводу, что в целом Форсайт-программа реализуется успешно, однако ряд проектов
характеризуется дефицитом ресурсов и низкой вовлеченностью общественности в их реализацию. Среди рекомендаций отмечалась также желательность расширения числа рассматриваемых проектов5. Кроме того, в связи с возрастающими рисками изменений в структуре управления целесообразно уделять большее внимание мотивации проектных команд.
Форсайт-программа Германии FUTUR
Программа FUTUR была инициирована Министерством образования и науки Германии (Bundes-ministerium fur Bildung und Forschung, BMBF) с целью определения приоритетных областей ИиР, а также формирования новых междисциплинарных тематических направлений [Cuhls, 2003; Giesecke, 2008].
Программа состояла из трех раундов. В рамках первого выявлялись и анализировались базовые тенденции, разрабатывались и реализовывались сценарии. Далее были внесены некоторые процедурные изменения, однако общая последовательность процесса сохранилась.
Значительную роль в осуществлении программы FUTUR сыграли семинары и открытые конференции, на которых обсуждались перспективы развития различных областей науки и сфер жизни (на период до 2020 г.). Затем в ходе работы фокус-групп были отобраны несколько направлений и предложены соответствующие сценарии. Веб-сайт www.futur.de транслировал информацию
Рис. 3. Логическая схема реализации Форсайт-программы Великобритании
Программная цель: повышение конкурентоспособности Великобритании в области науки,
технологий и инноваций
У
Цели проектов
Определение «окон возможностей» в развитии Выявление научно-технологических решений
науки и технологий для ответа на будущие вызовы и угрозы
I
Задачи
Выбор проектов А нализ и прогноз ключевых Реализация методологии Обсуждение результатов с
показателей развития науки Форсайта (сценарии, лицами, принимающими
и технологий сканирование горизонтов и др.) решения
Краткосрочные i __ “Паспорт” 1 - + Экспертные сети 1 __ь_ Новые группы
результаты ] области исследования 1 1 1 1 стейкхолдеров
среднесрочные
результаты
_ Возможные варианты будущего 1 _А__ 1 1 Рекомендации для лиц, принимающих ’ решения 1 1 1 Создание рабочих групп
долгосрочное
влияние
Приоритеты в Приоритетные
финансировании направления
прикладных фундаментальных
исследований исследований
I
_________I________
Воздействие на различные аспекты
государственной
политики
' I _____I___
Развитие
Форсайт-
культуры
Источник: составлено авторами на основе [Georghiou et al., 2006].
5 В рамках британской Форсайт-программы были сформированы семь тематических проектов в следующих областях: наводнения и защита прибрежных территорий (подробнее см.: [Майлс, 2008]); когнитивные системы; кибер-доверие и предотвращение преступлений; применение электромагнитного спектра; наука о мозге, зависимость и наркотики; выявление инфекционных заболеваний; интеллектуальные системы.
2012 | Т. 6. № 3 | ФОРСАЙТ I 67
Мастер-класс
Рис. 4. Структура оценки третьего раунда Форсайт-программы Великобритании
Подготовить рекомендации по совершенствованию Форсайта
<^^Метод
Оценить влияние, эффективность затрат и организацию Форсайта в рамках программы и отдельных проектов • Цели и задачи • Результаты • Кратко-, средне- и долгосрочные результаты • Изменение моделей поведения • Финансовые, человеческие и временные
ресурсы
Интервью Анализ документов Межстрановые сопоставления
Определена успешность программы, выявлены недостатки
Разработаны рекомендации по повышению эффективности национального Форсайта
Источник: составлено авторами на основе [Georghiou et al., 2004a; Georghiou, Keenan, 2006].
о ходе программы и содержал виртуальное рабочее пространство для участников проекта.
Каждый раунд завершался разработкой стратегий развития ключевых областей. Были сформулированы характеристики выбранных тем, их значение для экономики и общества, цели, сценарии развития, приоритеты научной деятельности, уровень текущей проработанности [BMBF, 2002].
В 2002 г. по инициативе BMBF была осуществлена экспертиза первой фазы программы FUTUR (рис. 5). В ее ходе оценивались:
• рациональность и реализуемость целей;
• соответствие процесса в целом и его отдельных этапов достижению поставленных целей;
• способы оптимизации достижения целей;
• эффективность используемых инструментов с учетом целей программы [Cuhls, Georghiou, 2004].
Методология оценки была разработана специалистами Фраунгоферовского института системных и инновационных исследований (Fraunhofer Institute for Systems and Innovation Research, ISI). В отношении базовых
объектов анализа (применявшихся инструментов, методов, форм организации) были сформулированы оценочные суждения в виде гипотез [Georghiou, Keenan, 2006]6, которые тестировались посредством четырех-раундового опроса, охватившего участников, сотрудников BMBF, поддерживающих и координационных структур. Итоговые выводы были вынесены на обсуждение международной группы экспертов.
Эксперты пришли к выводу, что программа осуществляется успешно, однако процесс работы следует упростить, сделать его более открытым, что сократит затраты и сроки реализации. Рекомендации, подготовленные в ходе оценки, были учтены при разработке второго раунда.
Оценка программы FUTUR отличалась рядом специфических характеристик. Так, с методологической точки зрения представляет интерес использование гипотез в качестве элемента анализа. Вместе с тем, закрытый характер значительной части информации не позволяет сделать объективные выводы о методах проверки гипотез и структуре анкет.
6 Например, в отношении методов организации предложена следующая гипотеза: «открытые мероприятия, такие как публичные конференции, являются действенным инструментом реализации Форсайта» [Cuhls, Georghiou, 2004].
68 I ФОРСАЙТ | Т. 6. № 3 I 2012
Мастер-класс
Форсайт-программа Турции «Vision 2023: стратегии научно-технологического развития»
В начале 2000-х гг. власти Турции осознали неэффективность инициатив по поддержке исследований и разработок, реализованных в 1990-х гг., и, как следствие, необходимость выработки новой национальной научно-технологической политики на первые десятилетия наступившего века. В качестве фундаментальной задачи к 2023 г. (столетию основания Турецкой республики) ставилось создание инновационной экономики.
Программа «Vision 2023» была направлена на определение перспективных направлений науки и технологий в ближайшие двадцать лет и распространение этой информации среди заинтересованных кругов [Saritas et al., 2007]. В ходе программы анализировались различные варианты научно-технологического развития, выявлялись стратегически важные технологии и ключевые области ИиР.
Помимо Форсайта, инструментарий которого включал метод Дельфи, экспертные панели и определение приоритетных областей, в структуру программы входили три вспомогательных проекта по сбору и оценке данных в отношении технологических возможностей, трудовых ресурсов и инфраструктуры науки [Saritas et al., 2007]. Были сформированы перечни приоритетных областей научно-технологического развития7 и стратегических технологий8. Итоговые выводы и рекомендации легли в основу национальной научнотехнологической политики Турции, рассчитанной на период до 2023 г.
Экспертиза программы «Vision 2023» состояла из следующих стадий: определение и разработка базовых элементов оценки, собственно оценивание и подготовка отчета [Dursun et al., 2011]. Первая стадия заключалась в формулировании целей, моделировании процесса и выборе источников данных и инструментов для анализа. В ходе второй разрабатывались и распространялись анкеты, которые обрабатывались с помощью статистического инструментария, проводились дополнительные интервью, анализировалась документация. Третья стадия охватывала подготовку экспертного заключения и его презентацию.
Наибольшую важность с точки зрения обеспечения эффективности процесса представляла разработка модели, позволившая уточнить характер и степень вклада предлагаемых мероприятий в достижение поставленных целей. Модель оценки состояла из трех элементов: затраты (первоначальные), методы и результаты [Dursun et al., 2011]. Каждому элементу соответствовали определенные критерии оценки: достаточность (затраты); эффективность (методы); степень достижения (результаты).
Основными методами оценивания стали интервью (личные, телефонные либо с использованием электронной почты), анкетирование и анализ документов (рис. 6). Анкета имела три тематических блока: управление проектом, методология и результаты.
Кроме этого, при оценке итогов программы «Vision 2023» рассматривались отчеты экспертных панелей, посвященные отраслевым технологическим трендам,
Рис. 6. Структура оценки программы «Vision 2023» (Турция)
— Задачи оценки
Охарактеризовать уровень достижения целей
Выявить сильные и слабые стороны программы
Предложить
направления
совершенствования
Объект оценки
Достаточность затрат и имевшихся ресурсов Дельфи
• уровень экспертизы;
• начальные компетенции;
• текущая ситуация;
• политические инструменты;
• время реализации;
• влияние на социально-экономическое развитие Турции.
Экспертные панели
• эффективность методов;
• охват участников;
• число консультативных исследований;
• применение междисциплинарного подхода.
Результаты
• отчеты экспертных панелей;
• эффекты процесса.
&
результат
Определены положительные эффекты Форсайта Составлен перечень сильных и слабых сторон Выявлены уроки для последующих Форсайт-проектов
Методы
У
Интервью Анализ документов Анализ сильных и слабых сторон Анкетирование
Источник: составлено авторами на основе [Dursun et al., 2011].
7 Информационно-коммуникационные технологии; образование и человеческие ресурсы; энергетика; природные ресурсы; здравоохранение и фармацевтика; оборонный, авиационный и космический сектора; обрабатывающее производство и материалы; транспорт; туризм; текстильная промышленность; химия; строительство и инфраструктура; сельское хозяйство и продовольствие; окружающая среда и устойчивое развитие.
8 Информационно-коммуникационные технологии; нанотехнологии; технологии материалов; производственные процессы и технологии; биотехнологии и генная инженерия; мехатроника; инструменты дизайна; технологии энергетики и окружающей среды.
2012 | Т. 6. № 3 | ФОРСАЙТ I 69
Мастер-класс
SWOT-анализу, технологическим стратегиям и приоритетным направлениям развития науки и технологий. Были отмечены положительные эффекты Форсайта: вовлечение широкого круга участников, координация будущих научных исследований, информирование общественности и др. Завершающий этап оценки состоял в выявлении сильных и слабых сторон программы, а также подготовке рекомендаций для ее дальнейшего совершенствования [Daim et al., 2009].
Проект оценки Форсайт-программы Турции явился единственным примером, когда стадия моделирования была включена в общий алгоритм в явном виде. Разработка модели позволила избежать возможных ошибок при планировании процесса оценивания, сделав его более структурированным и понятным.
Программа технологического и промышленного Форсайта Колумбии
Колумбийская программа технологического и промышленного Форсайта, стартовавшая в 2001 г., до настоящего момента является наиболее масштабной инициативой по исследованиям будущего в Латинской Америке. В качестве базовых целей были намечены определение стратегических направлений развития науки и технологий, стимулирование создания в стране экономики и общества знаний, повышение компетенций в области Форсайта и распространение соответствующей культуры [Medina, 2006].
В структуре первого цикла прогнозные исследования разделялись на отраслевые, территориальные и смешанные. В рамках второго основополагающим признаком классификации проектов являлась их методология (собственно Форсайт, сканирование горизонтов и др.) [Popper et al., 2010]. В общей сложности были осуществлены 32 специализированных проекта, с применением различных опросов, разработкой сценариев, проведением SWOT-анализа и организацией экспертных панелей. Особо примечательна реализация в режиме онлайн четырехраундового Дельфи-опроса [Popper et al., 2010].
Итогами первого этапа стали: определение стратегий развития ключевых областей науки и технологий, совершенствование компетенций и разработка мер по укреплению национальной инновационной системы. Вторая стадия в 2007-2008 гг. была подвергнута широкомасштабной оценке международной группой экспертов, сформированной на базе PREST. В рамках проекта анализировались влияние программы, эффективность затрат, методы организации Форсайта, а также готовились рекомендации для будущих проектов в стране.
Экспертиза проходила в четыре этапа [Popper et al., 2010]. На первом определялись цели, задачи и структура оценки; в ходе второго проводились интервью и анализ информации; в рамках третьего цикла осуществлялись межстрановые сопоставления, представлялись промежуточные результаты, обсуждавшиеся с расширенной международной группой экспертов. Одновременно был организован Интернет-опрос для определения
текущего и ожидаемого влияния реализуемых в рамках Форсайт-программы проектов. Финальная стадия включала подготовку и согласование итогового отчета.
Оценка подразумевала широкий набор методов. Межстрановые сопоставления национальных программ базировались на десяти критериях9. Для характеристики ряда показателей в качестве ключевого метода использовались интервью. Значительное внимание уделялось изменениям в организационной структуре, имевшим место при переходе от первого цикла ко второму, и их влиянию на эффективность программы. С помощью Интернет-опросов изучались степень новизны и эффекты программы, результативность подходов и методов, достигнутый уровень компетенций и Форсайт-культуры (рис. 7).
Особый акцент ставился на обеспечении соответствия полученных результатов специфическим для колумбийской программы требованиям. Так, ряд разработанных критериев предназначались для определения влияния Форсайт-программы на национальную систему науки, технологий и инноваций, а также ее вклада в формирование «общества знаний» [Popper et al, 2010].
Предметом итоговых рекомендаций стало расширение применения Форсайта в научно-технической и инновационной сфере (консолидация исследовательской инфраструктуры; поддержка исследований в стратегических областях и др.). Выводы представлялись по трем тематическим направлениям: эффективность использования средств, цели программы и «прочие достижения». Отмечалась высокая эффективность финансирования Форсайт-программы. Выводы, касающиеся целей, свидетельствовали об «устойчивом прогрессе» в их реализации [Popper et al., 2010]. В качестве «прочих достижений» выделялись гибкость программы, ее адаптивность, эффективное взаимодействие между представителями государства, бизнеса и академического сообщества на национальном и международном уровнях.
Оценку колумбийского технологического и промышленного Форсайта можно охарактеризовать как масштабный и эффективно реализованный проект, который, наряду с формированием практических выводов и рекомендаций, способствовал консолидации имеющихся знаний и разработке новых методологических подходов. Особо следует отметить большое число проектов, охваченных экспертизой.
Базовые элементы оценки национального Форсайта
Сопоставление представленных выше проектов по экспертизе национальных Форсайт-инициатив позволяет заключить, что в большинстве случаев подобные оценки ориентированы на анализ реализации исследований будущего, достигнутых в них результатов и оказанного влияния. Не менее важной задачей являются обоснование направлений совершенствования Форсайта и подготовка рекомендаций в отношении будущих программ.
9 Кооперация, спонсирование, целевая аудитория, масштаб участия, длительность проекта, финансирование, территориальное распределение, временной горизонт, методы, результаты [Popper et al., 2010].
70 I ФОРСАЙТ | Т. 6. № 3 I 2012
Мастер-класс
Рис. 7. Структура оценки Форсайт-программы Колумбии
Результат
• Получены заключения в отношении целей программы, эффективности используемых методов и “прочих достижений”.
• Предложены рекомендации по более активному использованию Форсайта.
Источник: составлено авторами на основе [Popper et al., 2010].
Наиболее распространенным методом оценки выступают интервью: к ним прибегали эксперты в ходе всех рассмотренных выше проектов. Достаточно часто проводились анкетные опросы и применялись инструменты статистического анализа.
Итоги оценочных мероприятий обычно публикуются в виде отчетов, в которых обсуждаются достоинства и недостатки Форсайт-проектов, содержатся необходимые рекомендации. В некоторой степени типичными являются и слабые стороны оценочных проектов: отсутствие единых шкал для измерения определенных критериев, ограниченное применение количественных методов, информационная закрытость. Отмеченные обстоятельства усиливают субъективность итоговых оценок и формируют преграды для их использования заинтересованными лицами.
Фундаментальным вопросом при проведении любого оценивания является установление соответствующих критериев. Анализ практического опыта с учетом известных теоретических подходов позволяет сгруппировать показатели оценки Форсайт-исследований в соответствии с выделенными элементами (цели, заказчик, проектная команда, стейкхолдеры, методология, организация, ресурсы, результаты и влияние). Критерии для каждого из предложенных элементов, предлагаемые теорией и практикой оценки Форсайта и дополненные авторами на основе опыта реализации российских Форсайт-проектов, представлены на рис. 8.
Индикаторами при изучении целей выступают рациональность, достижимость, непротиворечивость и четкость формулировок. При оценке проектной команды рассматриваются такие параметры, как уровень квалификации и опыта ее членов с точки зрения
соответствия решаемым задачам, а также степень независимости. Последнее требует проведения анонимных опросов команды.
Позиция заказчика (в частности, способность влиять на состояние национальной инновационной системы) может быть определена посредством анализа документов и интервью с исполнителями проекта. Степень его участия в Форсайт-процессе выявляется соответственно характеру взаимодействия с проектной командой. Блок, посвященный стейкхолдерам, содержит информацию о вовлеченности в программу представителей ключевых секторов и организаций разных уровней.
Одно из наиболее важных направлений оценки — методология. Адекватность выбранных методов с позиций достижения поставленных целей может быть определена посредством анализа вклада каждого метода в реализацию соответствующей цели (задачи) исследования. Здесь же рассматривается подход к определению методов: случайный выбор, избирательное применение некоторых инструментов, комплекс различных методов [Майсснер, Сервантес, 2010]. Для полноты данного блока предлагается анализировать наличие в методологии инструментов из всех вершин Форсайт-ромба [Popper, 2009] и эффективность их совместного использования.
Организация Форсайт-процесса оценивается в соответствии со стадиями: пред-Форсайт, привлечение участников, генерирование знаний, действие, получение обратной связи [Miles, 2002]. Для каждой из них определяется эффективность деятельности, выявляются управленческие и организационные ошибки. Кроме того, изучается качество планирования с помощью
2012 | Т. 6. № 3 | ФОРСАЙТ I 71
Мастер-класс
Рис.8. Основные элементы и критерии оценки национальных Форсайт-программ
Оценка Форсайта
Результат Процесс Влияние
рациональность ф ф ф достижимость ф А
непротиворечивость ,_
четкость формулировки ФА
взаимодействие с ключевыми ф ф отраслями, уровнями управления методы привлечения участников ФФА взаимодействие участников ФФА ' привлечение участников из ключевых организаций В
эффективность ф ф реализации Форсайта эффективность ф ф ф управления
комплексность
планирования
проектная
команда
ресурсы
достаточность ф ф качество i эффективность использования
методология
цели
• соответствие квалификации и опыта решаемым задачам А
• взаимодействие между членами команды Ф ф
• степень независимости А
• соответствие методов целям ф ф
• разнообразие и синергия методов ■
• эффективность применения ф ф ф ф
• способ отбора методов А
Оценка Форсайт-программы: ф Венгрии Ф Великобритании Ф Германии Ф Турции Ф Колумбии
А Критерии, предлагаемые в рамках теоретических работ по оценке Форсайта В Критерии, предлагаемые авторами статьи
сопоставления ожидаемых и фактических итогов тех или иных мероприятий.
Рассмотренные выше элементы и критерии представляют основу методологии оценки национального Форсайта в части его реализации. Предлагаемые критерии могут использоваться для экспертизы Форсайт-проектов в различных вариантах и сочетаниях в зависимости от специфических целей. В дальнейшем предлагаемая методология будет дополнена детальными блоками по оценке результатов и эффектов, глубокий анализ которых остался за рамками нашего исследования.
Заключение
В ходе исследования были рассмотрены примеры оценки национальных Форсайт-программ в Венгрии, Великобритании, Германии, Турции и Колумбии. Наиболее масштабным и эффективным по глубине и детальности проработки явился колумбийский проект. Как показал анализ, главным фактором, мотивирующим к проведению оценки, является формирование обратной связи для национального Форсайта и определение направлений его дальнейшего развития. Так, в Венгрии пришли к выводу
о целесообразности повторения через десять лет полномасштабного Форсайта. В ходе внутренней экспертизы второго раунда Форсайта Великобритании (отчет по которой не был опубликован) было принято решение о серьезной реструктуризации программы, и третий раунд был организован на проектной основе. При оценке последнего выявилась необходимость расширения программы (аналогичный вывод был сделан и в Турции). Таким образом, итогом любого оценочного проекта становились рекомендации по корректировке направлений развития национального Форсайта (в той или иной степени) и перечень извлеченных уроков для инициирования дальнейших исследований (например, упрощение процесса, активное привлечение бизнеса и общественных организаций и пр.).
Анализ практического опыта и теоретических разработок пока свидетельствует об отсутствии единых принципов проведения экспертизы. В рамках данного исследования были систематизированы и обобщены различные подходы к оценке национального Форсайта, выявлены ее важнейшие элементы и соответствующие критерии, что, по нашему мнению, будет способствовать стандартизации оценочных процедур. В
Майлс Й. (2008) Разработка сценариев и дорожных карт для ключевых технологий: предупреждение наводнений и защита береговых территорий в Великобритании // Форсайт. Т. 2. № 4. С. 50-59.
Майсснер Д., Сервантес М. (2010) Успешный Форсайт: дизайн, подготовка, инструментарий // Форсайт. Т. 4. № 1. С. 74-81.
Aichholzer G. (2001) Delphi Austria: An Example of Tailoring Foresight to the Needs of a Small Country. Vienna: ITA.
Alsan A., Oner M.A. (2004) Comparison of National Foresight Studies by Integrated Foresight Management Model // Futures. Vol. 36. № 8. P. 889-902. Amanatidou E., Guy K. (2008) Interpreting Foresight Process Impacts: Steps Towards the Development of a Framework Conceptualising the Dynamics of 'Foresight Systems’ // Technological Forecasting and Social Change. Vol. 75. № 4. P. 539-557.
Bennett C. (1975) Up the Hierarchy // Journal of Extension. Vol. 13. № 2. P 7-12.
Bezold C. (2010) Lessons from Using Scenarios for Strategic Foresight // Technological Forecasting and Social Change. Vol. 77. № 9. P 1513-1518. Bjorn L., Lubeck L. (2003) Swedish Technology Foresight — A Successful Project With Many Lessons Learned. Paper presented at the Second International Conference on Technology Foresight, 27-28 February, Tokyo.
BMBF (2002) Futur Lead Visions Complete Document. Berlin: German Ministry for Education and Research.
72 | ФОРСАЙТ | Т. 6. № 3 I 2012
Мастер-класс
Bohanec M., Rajkovic V., Semolic B., Pogacnik A. (1995) Knowledge-Based Portfolio Analysis for Project Evaluation // Information & Management. Vol. 28. № 5. P. 293-302.
Calof J., Smith J.E. (2008) Critical Success Factors for Government Led Foresight. Paper presented at the Third International Seville Seminar on Future Oriented Technology Analysis: Impacts and Implications for Policy and Decision-Making, Seville, October 16-17.
CROWN (2009) Multi-Criteria Analysis: A Manual. London: Department of Communities and Local Government. http://www.communities.gov. uk/documents/corporate/pdf/1132618.pdf (accessed 29 August 2012).
Cuhls K. (2003) From Forecasting to Foresight Processes — New Participative Foresight Activities in Germany // Journal of Forecasting. Vol. 22.
P. 93-111.
Cuhls K., Georghiou L. (2004) Evaluating a Participative Foresight Process: “Futur — The German Research Dialogue” // Research Evaluation.
Vol. 13. № 3. P. 143-153.
Daim T., Basoglu N., Dursun O., Saritas O., Pisek G. (2009) A Comprehensive Review of Turkish Technology Foresight Project // Foresight.
Vol. 11. № 1. P. 21-42.
Destatte P (2007) Evaluation of Foresight: How to Take Long-Term Impacts into Consideration? Paper presented at FOR-LEARN Mutual Learning Workshop-Evaluation of Foresight, 19 September, Brussels.
Dursun O., Ture T.E., Daim T.U. (2011) Post-Evaluation of Foresight Studies: Turkish Case // International Journal of Foresight and Innovation Policy. Vol. 7. № 4. P 311-337.
Eilat H., Golany B., Shtub A. (2008) R&D Project Evaluation: An Integrated DEA and Balanced Scorecard Approach // Omega International Journal
of Management Science. Vol. 36. № 5. P 895-912.
European Commission (1999) Evaluation of Socio-Economic Programmes. Glossary of 300 Concepts and Technical Terms. Luxembourg: “Means” Collection.
FOR-LEARN — On Line Foresight Guide. http://forlearn.jrc.ec.europa.eu/guide/7_cases/futur.htm (accessed 27 July 2012).
Georghiou L. (2003) Evaluating Foresight and Lessons for Its Future Impact. Paper presented at The Second International Conference on Technology Foresight, 27-28 February, Tokyo.
Georghiou L., Acheson H., Cassingena Harper J., Clar G., Klusacek K. (2004a) Evaluation of the Hungarian Technology Foresight Programme (TEP). Report of an International Panel. Manchester: PREST, University of Manchester.
Georghiou L., Clarysse B., Steurs G., Bilsen V., Larosse J. (2004b) Making the Difference — The Evaluation of Behavioural Additionality of R&D Subsidies. Brussels: IWT Vlaanderen, IWT Studies 48.
Georghiou L., Keenan M. (2006) Evaluation of National Foresight Activities: Assessing Rationale, Process and Impact // Technology Forecasting and Social Change. Vol. 73. № 7. P. 761-777.
Georghiou L., Cameron H., Keenan M., Miles I., Saritas O. (2006) An Evaluation of the UK Foresight Programme: Final Report. Manchester:
PREST, University of Manchester.
Giesecke S. (2008) Futur — The German Research Dialogue // Giesecke S., Crehan P., Elkins S. (eds.) The European Foresight Monitoring Network.
Collection of EFMN Briefs. Part 1. Luxembourg: Office for Official Publications of the European Communities.
Godinho P.C., Afonso A.R., Costa J.P. (2004) On the Use of Multiple Financial Methods in the Evaluation and Selection of Investment Projects // Investiga^ao Operacional. Vol. 24. № 1. P 1-20.
Guba E., Lincoln Y. (1989) Fourth Generation Evaluation. London: Sage Publications.
Habegger B. (2010) Strategic Foresight in Public Policy: Reviewing the Experiences of the UK, Singapore, and the Netherlands // Futures. Vol. 42.
№ 1. P 49-58.
Havas A., Schartinger D., Weber K.M. (2007) Experiences and Practices of Technology Foresight in the European Region. Paper presented at the UNIDO Technology Foresight Summit 2007, 27-29 September, Budapest.
Havas A., Schartinger D., Weber A. (2010) The Impact of Foresight on Innovation Policy-Making: Recent Experiences and Future Perspectives // Research Evaluation. Vol. 19. № 2. P. 91-104.
HM Treasury (2003) The Green Book: Appraisal and Evaluation in Central Government. London: TSO.
JICA (2004) JICA Guideline for Project Evaluation (September 2004). Japan International Cooperation Agency. P. 141-145. http://www.jica.go.jp/ english/operations/evaluation/tech_and_grant/guides/guideline.html (accessed 15 August 2012).
Kovats F. (2000) The Hungarian Technology Foresight Programme. Report by the Steering Group. Budapest.
Kuwahara T., Kameoka A., Yokoo Y. (2004) A challenge of integrating technology foresight and assessment in industrial strategy development and policymaking // Technological Forecasting and Social Change. Vol. 71. № 6. P. 579-598.
Li S.S., Kang M.H., Lee L.C. (2009) Developing the Evaluation Framework of Technology Foresight Program: Lessons Learned from European Countries. Paper presented at the Atlanta Conference on Science and Innovation Policy, Atlanta, October 2-3.
Medina J. (2006) Colombian Program on Technological and Industrial Foresight: Achievements and Perspectives. Bogota: Colciencias.
Meissner D., Cervantes M. (2008) Results and Impact of National Foresight Studies. Paper presented at the Third International Seville Seminar on Future Oriented Technology Analysis: Impacts and Implications for Policy and Decision-Making, Seville, October 16-17.
Meissner D. (2012) Results and impact of national Foresight-studies // Futures (forthcoming).
Miles I. (2002) Appraisal of Alternative Methods and Procedures for Producing Regional Foresight. Report prepared by CRIC for the European Commission’s DG Research funded STRATA - ETAN Expert Group Action. Manchester.
Miles I. (2003) Ten Years of Foresight in the UK. Paper presented at NISTEP Second International Conference on Technology Foresight, Tokyo, February 27-28.
Mishra S. (2009) Engineering Economics and Costing. New Delhi: PHI Learning Private Limited.
Owen J., Lambert F. (1998) Evaluation and the Information Needs of Organizational Leaders // American Journal of Evaluation. Vol. 19. № 3.
P. 355-365.
Phillips J.J., Bothell T.W., Snead G.L. (2002) The Project Management Scorecard: Measuring the Success of Project Management Solutions. Woburn: Butterworth-Heinemann.
PMI (1996) A Guide to the Project Management Body of Knowledge. Newton Square, PA: Project Management Institute.
Popper R. (2009) Mapping Foresight: Revealing How Europe and Other World Regions Navigate into the Future, EFMN. Luxembourg: Publications Office of the European Union, European Commission.
Popper R., Georghiou L., Keenan M., Miles I. (2010) Evaluating Foresight: Fully-Fledged Evaluation of Colombian Technology Foresight Programme. Santiago de Cali: Universidad del Valle.
Rader M. (2003) Hungary - Hungarian Foresight Programme (TEP) 1997/99. FISTERA report WP 1 — Review and Analysis of National Foresight D1.1. HU - Case Study.
Remer D.S., Nieto A.P (1995) A Compendium and Comparison of 25 Project Evaluation Techniques. Part 1: Net Present Value and Rate of Return Methods // International Journal of Production Economics. Vol. 42. № 1. P. 79-96.
Remer D.S., Nieto A.P. (1995) A Compendium and Comparison of 25 Project Evaluation Techniques. Part 2: Ratio, Payback and Accounting Methods // International Journal of Production Economics. Vol. 42. № 2. P. 101-129.
Remer D.S., Stokdyk S.B., Driel M.V. (1993) Survey of Project Evaluation Techniques Currently Used in Industry // International Journal of Production Economics. Vol. 32. № 1. P. 103-115.
Ricker K.T., Brown L.C., Leeds C.F., Leeds R.P., Bonar Bouton E.K., Volgstadt C.E. (1998) Water Quality Project Evaluation: A Handbook for Objectives-Based Evaluation of Water Quality Projects. http://ohioline.osu.edu/b868 (accessed 13 July 2012).
Rollwagen I., Hofmann J., Schneider S. (2008) Improving the Business Impact of Foresight // Analysis & Strategic Management. Vol. 20. № 3.
P. 337-349.
Saritas O. (2006) Systems Thinking for Foresight. PhD Thesis. The University of Manchester.
Saritas O., Taymaz E., Tumer T. (2007) Vision 2023: Turkey’s National Technology Foresight Program: A Contextualist Analysis and Discussion // Technological Forecasting and Social Change. Vol. 74. P. 1374-1393.
Tyler R. (1942) General Statement on Evaluation // Journal of Educational Research. Vol. 35. № 7. P. 492-501.
Westat J.F. (2002) The 2002 User-Friendly Handbook for Project Evaluation. Arlington: The National Science Foundation. http://www.nsf.gov/ pubs/2002/nsf02057/start.htm (accessed 15 August 2012).
Wood J.V. (2001) UK Foresight Programme — A Panel Chairman’s View. http://www.nistep.go.jp/achiev/ftx/eng/mat077e/html/mat0774e.html
(accessed 07 June 2012).
Zarinpoush F. (2006) Project Evaluation Guide for Nonprofit Organizations: Fundamental Methods and Steps for Conducting Project Evaluation. Ottawa: Imagine Canada.
2012 | Т. 6. № 3 | ФОРСАЙТ I 73
Master Class
The Best Practices of Evaluating S&T Foresight:
Basic Elements and Key Criteria
Ekaterina Makarova
Research Intern, Research Laboratory for Science and Technology Studies. E-mail: kmakarova@hse.ru
Anna Sokolova
Senior Research Fellow, Research Laboratory for Science and Technology Studies. Е-mail: avsokolova@hse.ru
Institute for Statistical Studies and Economics of Knowledge, National Research University Higher School of Economics Address: National Research University Higher School of Economics, 20, Myasnitskaya str., Moscow, 101000
Abstract
As the impact of strategic decision-making at the corporate, sectoral and national levels increase, there are growing demands for high quality and solid Foresight outputs. In this regard, a timely detection and elimination of problems in Foresight projects is of great importance. A thorough evaluation of criteria and methods used in Foresight analysis would permit the improved effectiveness of Foresight activities. The results could be set against the aims to decide on the feasibility of projects and identify ways to improve them. Despite great interest in Foresight evaluation demonstrated by stakeholders at various levels, the general principles for conducting it have not yet been formulated, which hinders its development and the diffusion of successful expertise.
The purpose of this paper is to identify the basic elements — criteria and methods — used in evaluating national Foresight. It presents the most interesting results for specific tasks, the themes examined, the
Keywords
Foresight; evaluation; project management; best practices.
methods and the findings, in general. In addition, the study allowed some inference about theory and practice of project management. The study reveals that a key motivation for evaluation of Foresight projects is to provide feedback to national Foresight organizations and identify areas for further development. Evaluation is used to guide Foresight (in varying degrees) and provide lessons learned for future projects (for example, simplifying implementation, involving business and social organizations, recognizing the need for better compliance with the methodology and objectives of the study participants).
The paper serves to develop a general methodology for assessing national Foresight programmes. A further agenda is to develop a comprehensive analysis of Foresight, ensure comparability of results of Foresight evaluation initiatives in different countries, promote standardization of evaluation procedures.
References
Aichholzer G. (2001) Delphi Austria: An Example of Tailoring Foresight to the Needs of a Small Country, Vienna: ITA.
Alsan A., Oner M.A. (2004) Comparison of National Foresight Studies by Integrated Foresight Management Model. Futures, vol. 36, no 8, pp. 889-902.
Amanatidou E., Guy K. (2008) Interpreting Foresight Process Impacts: Steps Towards the Development of a Framework Conceptualising the Dynamics of 'Foresight Systems’. Technological Forecasting and Social Change, vol. 75, no 4, pp. 539-557.
Bennett C. (1975) Up the Hierarchy. Journal of Extension, vol. 13, no 2, pp. 7-12.
Bezold C. (2010) Lessons from Using Scenarios for Strategic Foresight. Technological Forecasting and Social Change, vol. 77, no 9, pp. 1513-1518.
Bjorn L., Lubeck L. (2003) Swedish Technology Foresight — A Successful Project With Many Lessons Learned. Paper presented at the Second International Conference on Technology Foresight, 27-28 February, Tokyo.
BMBF (2002) Futur Lead Visions Complete Document, Berlin: German Ministry for Education and Research.
Bohanec M., Rajkovic V., Semolic B., Pogacnik A. (1995) Knowledge-Based Portfolio Analysis for Project Evaluation. Information & Management, vol. 28, no 5, pp. 293-302.
Calof J., Smith J.E. (2008) Critical Success Factors for Government Led Foresight. Paper presented at the Third International Seville Seminar on Future Oriented Technology Analysis: Impacts and Implications for Policy and Decision-Making, Seville, October 16-17.
CROWN (2009) Multi-Criteria Analysis: A Manual, London: Department of Communities and Local Government.
Cuhls K. (2003) From Forecasting to Foresight Processes — New Participative Foresight Activities in Germany. Journal of Forecasting, vol. 22, pp. 93-111.
Cuhls K., Georghiou L. (2004) Evaluating a Participative Foresight Process: “Futur — The German Research Dialogue”. Research Evaluation, vol. 13, no 3, pp. 143-153.
Daim T., Basoglu N., Dursun O., Saritas O., Pisek G. (2009) A Comprehensive Review of Turkish Technology Foresight Project. Foresight, vol. 11, no 1, pp. 21-42.
Destatte P. (2007) Evaluation of Foresight: How to Take Long-Term Impacts into Consideration? Paper presented at FOR-LEARN Mutual Learning Workshop-Evaluation of Foresight, 19 September, Brussels.
Dursun O., Ture T.E., Daim T.U. (2011) Post-Evaluation of Foresight Studies: Turkish Case. International Journal of Foresight and Innovation Policy, vol. 7, no 4, pp. 311-337.
Eilat H., Golany B., Shtub A. (2008) R&D Project Evaluation: An Integrated DEA and Balanced Scorecard Approach. Omega International Journal of Management Science, vol. 36, no 5, pp. 895-912.
74 I FORESIGHT-RUSSIA | Vol. 6. No 3 | 2012
Master Class
European Commission (1999) Evaluation of Socio-Economic Programmes. Glossary of300 Concepts and Technical Terms. Luxembourg: “Means” Collection.
FOR-LEARN - On Line Foresight Guide. Available at: http://forlearn.jrc.ec.europa.eu/guide/7_cases/futur.htm (accessed 27 July 2012)
Georghiou L. (2003) Evaluating Foresight and Lessons for Its Future Impact. Paper presented at The Second International Conference on Technology Foresight, 27-28 February, Tokyo.
Georghiou L., Acheson H., Cassingena Harper J., Clar G., Klusacek K. (2004a) Evaluation of the Hungarian Technology Foresight Programme (TEP). Report of an International Panel, Manchester: PREST, University of Manchester.
Georghiou L., Clarysse B., Steurs G., Bilsen V., Larosse J. (2004b) Making the Difference — The Evaluation of Behavioural Additionality of R&D Subsidies, Brussels: IWT Vlaanderen, IWT Studies 48.
Georghiou L., Keenan M. (2006) Evaluation of National Foresight Activities: Assessing Rationale, Process and Impact. Technology Forecasting and Social Change, vol. 73, no 7, pp. 761-777.
Georghiou L., Cameron H., Keenan M., Miles I., Saritas O. (2006) An Evaluation of the UK Foresight Programme: Final Report, Manchester: PREST, University of Manchester.
Giesecke S. (2008) Futur — The German Research Dialogue. The European Foresight Monitoring Network. Collection of EFMN Briefs (eds. S. Giesecke, P. Crehan, S. Elkins). Part 1, Luxembourg: Office for Official Publications of the European Communities.
Godinho P.C., Afonso A.R., Costa J.P. (2004) On the Use of Multiple Financial Methods in the Evaluation and Selection of Investment Projects. Investigagao Operacional, vol. 24, no 1, pp. 1-20.
Guba E., Lincoln Y. (1989) Fourth Generation Evaluation, London: Sage Publications.
Habegger B. (2010) Strategic Foresight in Public Policy: Reviewing the Experiences of the UK, Singapore, and the Netherlands. Futures, vol. 42, no 1, pp. 49-58.
Havas A., Schartinger D., Weber K.M. (2007) Experiences and Practices of Technology Foresight in the European Region. Paper presented at the UNIDO Technology Foresight Summit 2007, 27-29 September, Budapest.
Havas A., Schartinger D., Weber A. (2010) The Impact of Foresight on Innovation Policy-Making: Recent Experiences and Future Perspectives. Research Evaluation, vol. 19, no 2, pp. 91-104.
HM Treasury (2003) The Green Book: Appraisal and Evaluation in Central Government, London: TSO.
JICA (2004) JICA Guideline for Project Evaluation (September 2004), Japan International Cooperation Agency, pp. 141-145. Available at: http:// www.jica.go.jp/english/operations/evaluation/tech_and_grant/guides/guideline.html (accessed 15 August 2012).
Kovats F. (2000) The Hungarian Technology Foresight Programme. Report by the Steering Group, Budapest.
Kuwahara T., Kameoka A., Yokoo Y. (2004) A challenge of integrating technology foresight and assessment in industrial strategy development and policymaking. Technological Forecasting and Social Change, vol. 71, no 6, pp. 579-598.
Li S.S., Kang M.H., Lee L.C. (2009) Developing the Evaluation Framework of Technology Foresight Program: Lessons Learned from European Countries. Paper presented at the Atlanta Conference on Science and Innovation Policy, Atlanta, October 2-3.
Lindgren M., Bandhold H. (2003) Scenario Planning: The Link Between Future and Strategy, Hampshire: Palgrave Macmillan.
Medina J. (2006) Colombian Program on Technological and Industrial Foresight: Achievements and Perspectives, Bogota: Colciencias.
Meissner D., Cervantes M. (2008) Results and Impact of National Foresight Studies. Paper presented at the Third International Seville Seminar on Future Oriented Technology Analysis: Impacts and Implications for Policy and Decision-Making, Seville, October 16-17.
Meissner D., Cervantes М. (2010) Uspeshnyi Forsait: dizain, podgotovka, instrumentarii [Successful Foresight Study: Implications for Design, Preparatory Activities and Tools to Use]. Foresight-Russia, vol. 4, no 1, pp.74-81.
Meissner D. (2012) Results and impact of national Foresight-studies. Futures (forthcoming).
Miles I. (2002) Appraisal of Alternative Methods and Procedures for Producing Regional Foresight. Report prepared by CRIC for the European Commission’s DG Research funded STRATA - ETAN Expert Group Action, Manchester.
Miles I. (2003) Ten Years of Foresight in the UK. Paper presented at NISTEP Second International Conference on Technology Foresight, Tokyo, February 27-28.
Miles I. (2008) Razrabotka stsenariev i dorozhnykh kart dlya klyuchevykh tekhnologii: preduprezhdenie navodnenii i zashchita beregovykh territorii v Velikobritanii [Scenarios and Road Mapping for Key Technologies: Flood and Coastal Defense in Great Britain]. Foresight-Russia, vol. 2, no 4, pp. 50-59.
Mishra S. (2009) Engineering Economics and Costing, New Delhi: PHI Learning Private Limited.
Owen J., Lambert F. (1998) Evaluation and the Information Needs of Organizational Leaders. American Journal of Evaluation, vol. 19, no 3, pp. 355-365.
Phillips J.J., Bothell T.W., Snead G.L. (2002) The Project Management Scorecard: Measuring the Success of Project Management Solutions, Woburn: Butterworth-Heinemann.
PMI (1996) A Guide to the Project Management Body of Knowledge, Newton Square, PA: Project Management Institute.
Popper R. (2008) Foresight Methodology. The Handbook of Technology Foresight (eds. L. Georghiou, J. Cassingena, M. Keenan, I. Miles,
R. Popper), Cheltenham: Edward Elgar.
Popper R. (2009) Mapping Foresight: Revealing How Europe and Other World Regions Navigate into the Future, EFMN, Luxembourg: Publications Office of the European Union, European Commission.
Popper R., Georghiou L., Keenan M., Miles I. (2010) Evaluating Foresight: Fully-Fledged Evaluation of Colombian Technology Foresight Programme, Santiago de Cali: Universidad del Valle.
Rader M. (2003) Hungary - Hungarian Foresight Programme (TEP) 1997/99. FISTERA report WP 1 — Review and Analysis of National Foresight D1.1. HU - Case Study.
Remer D.S., Nieto A.P. (1995) A Compendium and Comparison of 25 Project Evaluation Techniques. Part 1: Net Present Value and Rate of Return Methods. International Journal of Production Economics, vol. 42, no 1, pp. 79-96.
Remer D.S., Nieto A.P. (1995) A Compendium and Comparison of 25 Project Evaluation Techniques. Part 2: Ratio, Payback and Accounting Methods. International Journal of Production Economics, vol. 42, no 2, pp. 101-129.
Remer D.S., Stokdyk S.B., Driel M.V. (1993) Survey of Project Evaluation Techniques Currently Used in Industry. International Journal of Production Economics, vol. 32, no 1, pp. 103-115.
Ricker K.T., Brown L.C., Leeds C.F., Leeds R.P., Bonar Bouton E.K., Volgstadt C.E. (1998) Water Quality Project Evaluation: A Handbook for Objectives-Based Evaluation of Water Quality Projects. Available at: http://ohioline.osu.edu/b868 (accessed 13 July 2012).
Rollwagen I., Hofmann J., Schneider S. (2008) Improving the Business Impact of Foresight. Analysis & Strategic Management, vol. 20, no 3, pp. 337-349.
Saritas O. (2006) Systems Thinking for Foresight. PhD Thesis, The University of Manchester.
Saritas O., Taymaz E., Tumer T. (2007) Vision 2023: Turkey’s National Technology Foresight Program: A Contextualist Analysis and Discussion. Technological Forecasting and Social Change, vol. 74, pp. 1374-1393.
Tyler R. (1942) General Statement on Evaluation. Journal of Educational Research, vol. 35, no 7, pp. 492-501.
Westat J.F. (2002) The 2002 User-Friendly Handbook for Project Evaluation, Arlington: The National Science Foundation. Available at: http://www. nsf.gov/pubs/2002/nsf02057/start.htm (accessed 15 August 2012).
Wood J.V. (2001) UK Foresight Programme — A Panel Chairman’s View. Available at: http://www.nistep.go.jp/achiev/ftx/eng/mat077e/html/ mat0774e.html (accessed 7 June 2012).
Zarinpoush F. (2006) Project Evaluation Guide for Nonprofit Organizations: Fundamental Methods and Steps for Conducting Project Evaluation, Ottawa: Imagine Canada.
2012 | Vol. 6. No 3 | FORESIGHT-RUSSIA | 75
