CC BY-NC-ND
0
Оценка эффективности Форсайт-исследований: кейс энергетического
сектора Египта
Йомна Атеф Ахмед
Студент магистерской программы, y.elsayed@nu.edu.eg
ЭльХасан Анас ЭльСабри
Старший преподаватель, elsabry@nu.edu.eg
Высшая школа технологического менеджмента Нильского университета (Graduate School of Management of Technology, Nile University), Египет, Juhayna Square, 26th of July Corridor, El Sheikh Zayed, Giza, Egypt
Аннотация
Растущий массив реализованных Форсайт-проектов в разных секторах, сопровождающийся значительной долей неточных предположений и ошибочной интерпретации возникающих событий, побуждает экспертное сообщество к комплексной и объективной оценке результатов таких исследований. От сценарного планирования ожидают более реалистичных представлений о картинах будущего, уменьшающих степень неопределенности и влияние когнитивных предубеждений при принятии решений. Тема оценки результатов Форсайта особенно актуальна в сфере энергетики, от состояния которой зависит развитие эконо-
мики и социальной сферы, качество окружающей среды. В статье анализируются результаты египетского энергетического Форсайта «Egypt LEAPS» с точки зрения перспектив самого сектора, вовлеченности участников в процесс, их восприятие картины будущего и точность предположений. Уделяется внимание важному аспекту — методикам противодействия когнитивным предубеждениям, которые сопутствуют освоению сложности и неопределенности в рамках Форсайт-исследований. Представленная работа будет полезной как для составителей прогностических сценариев, так и для лиц, принимающих решения в более широком контексте.
Ключевые слова: оценка Форсайта; энергетический Форсайт; обоснованная политика; энергетический переход; системы возобновляемой энергетики; стратегии; исследования будущего; технологическое прогнозирование; сценарное планирование; возобновляемые источники энергии; экологические аспекты
Цитирование: Ahmed Y.A., El-Sabry A.E. (2024) Evaluating the Performance of Foresight Studies: Evidence from the Egyptian Energy Sector. Foresight and STI Governance, 18(1), pp. 69-79. DOI: 10.17323/2500-2597.2024.1.69.79
Evaluating the Performance of Foresight Studies: Evidence from the Egyptian Energy Sector
Yomna Atef Ahmed
MSc Student, y.elsayed@nu.edu.eg
ElHassan Anas ElSabry
Assistant Professor, elsabry@nu.edu.eg Graduate School of Management of Technology, Nile University, Juhayna Square, 26th of July Corridor, El Sheikh Zayed, Giza, Egypt
Abstract
Foresight projects are expected to provide realistic scenarios for different future scenarios, which provides a better information base for relevant strategies. However, these expectations often turn out to be at least difficult to fulfill due to the uncertainty of the external environment and cognitive biases. Therefore, the idea of assessing each stage of Foresight is gaining relevance, which is of particular importance in the energy sector, which affects a variety of areas of life. This article analyzes the results of the Egyptian energy foresight study, Egypt LEAPS, in terms of
process efficiency and forecast accuracy as well as the factors that influenced it, including cognitive biases. The authors conclude that for each stage of foresight, a thorough analysis of weaknesses and shortcomings is necessary. Therefore, from the very beginning, the foresight process should include reliable mechanisms for assessing results and a readiness for constant iterations. Consistent process adjustments that rely on new ways of dealing with complexity and uncertainty in dealing with the future help build trust among participants and consistently reduce the level of erroneous assumptions.
Keywords: foresight assessment; energy foresight; evidence-based policy; energy transition; renewable energy systems; strategies; futures studies; technology foresight; scenario planning; renewable energy; environmental aspects
Citation: Ahmed Y.A., El-Sabry A.E. (2024) Evaluating the Performance of Foresight Studies: Evidence from the Egyptian Energy Sector (2024) The Impact of Open Data Implementation on Entrepreneurial Attitude with Regard to Moving towards UN Sustainability Goals. Foresight and STI Governance, 18(1), pp. 69-79. DOI: 10.17323/2500-2597.2024.1.69.79
Мировой энергетический сектор считается одним из наиболее «проработанных» в плане Форсайт-исследований ввиду его критического значения для основных областей жизнеобеспечения, экологических аспектов, вклада в экономический рост и социальную сферу. Перспективы развития энергетики чаще всего оцениваются путем сценарного планирования (Rubio et al., 2023). По данному направлению реализовано множество исследований с разными охватами — от глобальных траекторий (IPCC, 2014) до энергоснабжения локальных территорий (Khosala et al., 2021)1. Горизонты, как правило, простираются на долгосрочную перспективу, например, в случае Международного энергетического агентства (International Energy Agency, IEA) — до 2100 г. (IEA, 2022). Европейская Комиссия и Фраунгоферовский институт системных и инновационных исследований (Fraunhofer ISI) разрабатывают сценарии для «низкоуглеродных» технологий и возобновляемых источников энергии (ВИЭ), описывающие перспективы их распространения и спроса (European Commission, 2016; Fraunhofer ISI, 2014).
В рамках совместного исследовательского проекта ведущих технологических университетов Германии, Австрии и Норвегии оценена возможность 100%-ного перехода к производству электроэнергии на основе ВИЭ до 2050 г. для 20 европейских стран и агрегированных регионов (Hainsh et al., 2022). Датское энергетическое агентство (Danish Energy Agency) разрабатывает «каталоги технологий» в качестве данных для сценариев до 2050 г. (Andersen, Silvast, 2023).
Таким образом, за влияние на развитие энергосистемы конкурируют разные сценарии. Но если сами Форсайт-проекты практикуются достаточно интенсивно, то практика их оценки пока не получила должного распространения, при том что именно от нее во многом зависят реализуемость стратегий и качество принимаемых решений. В последние годы ситуация меняется — растет интерес к декомпозиции дизайна Форсайт-исследований и выявлению организационных, коммуникационных и когнитивных пробелов, влияющих на качество сценариев. Наше исследование результатов энергетического Форсайта Египта вносит вклад в расширение базы знаний и опыта в этой области.
В Египте первый энергетический Форсайт — «Egypt LEAPS» — был реализован в 2017 г. Цель нашей статьи заключается в оценке эффективности коммуникации в рамках данного проекта и полученных эффектов. В фокусе «Egypt LEAPS» находились три базовых направления: солнечная энергетика, энергоэффективность и ископаемые виды топлива. Прогнозы разрабатывались с прицелом на два горизонта: до 2022 г. и 2027 г. Поскольку первый из них уже наступил, появилась возможность оценить относящиеся к нему результаты.
Помимо самого кейса египетского Форсайта, в нашей статье рассматриваются основные тенденции энер-
гетического перехода, задающие исследовательский контекст, а также потенциал солнечной энергетики как наиболее перспективного для Египта направления. Отдельное внимание уделяется вопросу подготовки экспертов к подобным проектам, влиянию когнитивных предубеждений на получаемые результаты и способам их преодоления.
Энергетический переход
Энергетический переход, в рамках которого меняется состав энергобаланса, сегодня находится в фокусе экономик многих стран. Особая роль в нем принадлежит ВИЭ, рассматриваемым в качестве драйверов достижения целей устойчивого развития ООН до 2030 г. При том, что в энергобалансе по-прежнему доминируют невозобновляемые источники (нефть, уголь и природный газ), доля гидро-, солнечной, ветровой, водородной энергетики и биомассы постепенно увеличивается (Chen et al., 2019). Наибольшего значения этого показателя добились Китай, США, Германия и Бразилия. Энергетический переход охватывает широкий диапазон аспектов, таких как технологии, поведение рынков, воздействие на окружающую среду, разработка политики и др. Для его осуществления, среди прочего, необходимы масштабные инвестиции в инфраструктуру ВИЭ, преодоление нормативных и политических барьеров, учет социальных и экологических последствий, связанных с определенными технологиями. Многие страны стремятся снизить зависимость от ископаемого топлива, помещая ВИЭ в центр государственной политики (Galvin, Healy, 2020)2. Растет количество Форсайт-исследований, направленных на разработку стратегий энергетического перехода (Rubio et al., 2023).
Контекст этого трансформационного процесса определяет требования к сценарному моделированию, которое должно иметь расширенный дизайн, учитывать возникающие технологии, структурные взаимозависимости между разработкой политики, развитием энергетической инфраструктуры, поведением рынков, воздействием на окружающую среду, безопасностью поставок и др. (del Granado et al., 2018). Предстоит выстроить слаженную систему, эффективно балансирующую экономические, экологические, социальные издержки, риски и преимущества (Sareen, Haarstad, 2018). Заметный вклад в развитие ВИЭ внесли решения на основе искусственного интеллекта и другие технологии, позволившие реализовать отдельные проекты комплексных энергосистем по принципу Smart Grid. Несмотря на это, радикального изменения или переформатирования энергобаланса пока добиться не удалось из-за отсутствия интегральной модели низкоуглеродного развития с четкими целями (Luo, Lin, 2023). Ее выработке препятствуют: борьба разных сторон за влияние, лидерство без обязательств (leadership without commitments), кон-
1 Например, можно отметить проекты Shell, Международного энергетического агентства, Международного агентства по развитию возобновляемой энергетики (International Renewable Energy Agency, IRENA), Межправительственной группы экспертов по изменениям климата (Intergovernmental Panel on Climate Change, IPCC), Европейской Комиссии и ряда других европейских институтов развития (Guivarch et al., 2017).
Рис. 1. Распределение потенциала фотоэлектрических мощностей для развития солнечной энергетики в Африке
Yearly totals: 730 876 1022 1168 141', 1i61 1607 1753 1899 20« 2191 2337
Примечание: чем темнее цвет зоны, тем выше потенциал фотоэлектрических мощностей. Египет (обведенный белым контуром на карте) располагает максимальным потенциалом развития солнечной энергетики.
Источник: адаптировано авторами на основе: WEF (2022) Africa is leading the way in solar power potential. https://www. weforum.org/agenda/2022/09/africa-solar-power-potential/, дата обращения 16.01.2024.
фликты ценностей и отсутствие стратегического мышления, ориентированного на устойчивость (Nwanekezie et al., 2022). Оценка Форсайт-проектов и усилия по их совершенствованию будут способствовать выработке более результативных стратегий, позволяющих преодолеть перечисленные барьеры.
Потенциал развития ВИЭ в Африке
Развитие солнечной энергетики имеет большое значение для переформатирования баланса энергетической системы в Африке, которая обладает значительными «запасами» солнечной энергии — 40% мирового потенциала, при этом остро нуждается в технологиях для ее освоения (Abdelrazik et al., 2022). В настоящее время на континенте расположено лишь 1.48% суммарного мирового объема мощностей солнечной энергетики (IRENA, 2021; Huard, Fremaux, 2020). Северная Африка (географическая зона Египта), благодаря идеальному расположению в регионе Солнечного пояса, обладает обилием солнечной энергии (рис. 1).
Серьезным сдерживающим фактором освоения ВИЭ являются технологические, финансовые, экологические и кадровые проблемы (Dagnachew et al., 2020). Ощущается острая нехватка высококвалифицированного персонала по проектированию, обслуживанию и эксплуатации фотоэлектрических систем. «Солнечные» технологии пока не получили достаточного распространения из-за дефицита поддерживающей инфраструктуры. Частые песчаные бури приводят к загрязнению поверхности солнечных панелей, что снижает эффективность их работы по преобразованию излучения в электроэнергию (Chanchangi et al., 2020; Othman, Hatem, 2022).
В Египте, тем не менее, в последнее время ситуация улучшается за счет прихода на рынок компании Karm-Solar, ведущего поставщика решений в области ВИЭ, который объединяет специалистов с разными компетенциями. В 2022 г. она была названа самым быстрорастущим пердприятием в стране и получила международное признание, войдя в рейтинг Fortune «50 компаний, меняющих мир»3. Другая компания, Efika, стала первопроходцем на рынке клининга солнечного оборудования4.
Выделяются две основные категории технологий по преобразованию солнечной энергии: фотоэлектрическая (напрямую трансформирует свет в электричество) и концентрирующая (использует тепло, отраженное от зеркал, для привода тепловых двигателей). При фокусировке с помощью специальных линз на фотоэлектрических элементах плотность потока солнечного света повышается в среднем в 200-1000 раз, что позволяет отнести эту технологию к наиболее эффективным, так как доля излучения, преобразуемого в электричество, достигает 42%. Египет ставит задачу добиться выработки более 40% энергии за счет других возобновляемых источников — ветровых и гидроэлектростанций (IRENA, 2018). Внедрение новых технологий сдерживается нехваткой компетенций среди политиков, специалистов по планированию проектов и потенциальных пользователей (Havila et al., 2014; Kimuli et al., 2017).
Современные учебные программы в Египте ориентированы в основной массе скорее на академические исследования, чем на практические аспекты проектирования и эксплуатацию энергосистем. Только в последние годы начали появляться образовательные курсы, готовящие специалистов с более широким кругом компетенций, включая: проектирование, обслуживание и эксплуатацию систем солнечной энергетики с учетом новейших знаний и технологий в этой сфере, управление проектами и маркетинг. В частности, их предлагают: Египетская молодежная академия (Youth Academy Egypt)5, Британский университет в Египте (British University in Egypt)6, Министерство электроэнергетики и ВИЭ (Ministry of Electricity and Renewable Energy)7.
2 См. также: https://www.wsj.com/articles/oil-gas-russia-renewable-energy-solar-wind-power-europe-11649086062, дата обращения 12.02.2024.
3 https://www.karmsolar.com/, дата обращения 15.02.2024.
4 https://efika.company/, дата обращения 15.02.2024.
5 https://www.pdf-eg.com/node/75, дата обращения 07.02.2024
6 https://new.bue.edu.eg/research-centres/centre-for-renewable-energy-cre-bue, дата обращения 08.02.2024.
Определенный вклад вносят знания из открытых источников, транслируемые в отчетах Форсайт-проектов. Нехватка компетенций — не единственный сдерживающий фактор, влияющий на связку «Форсайт - стратегии - принятие решений». Даже при наличии профессионального опыта негативную роль играют когнитивные предубеждения экспертов. Большинство стейкхолдеров упускают из внимания многие важные аспекты, преимущественно концентрируясь лишь на одном измерении развития — снижении стоимости энергии. Из-за привязанности к экономическим оценкам перспективного спроса на энергию прогнозы часто оказываются неточными, исходят из предположения о сохранении текущих тенденций, не учитывают динамику перемен и др. (Paltsev, 2017; Stern, 2017; Trutnevyte, 2016; Nemet, 2021). Оценка Форсайт-проектов призвана способствовать повышению их эффективности и, следовательно, сформировать более реалистичную картину будущего для разработки оптимальных стратегий.
Оценка Форсайт-исследований
Первые попытки оценить Форсайт-проекты стали предприниматься еще в 1990-х гг. Тем не менее, количество работ, посвященных их анализу, пока остается незначительным по сравнению с общим массивом публикаций, представляющих сам Форсайт-процесс и его результаты (Ko, Yang, 2024). Активнее всего оценка проводилась в Европе и США.
На рис. 2 представлена классификационная матрица для шести рамочных основ Форсайт-проектов (Minkkinen et al., 2019). Большинство оценочных методологий, применяемых в корпоративной практике и научных кругах, базируется только на двух из них: измеряются точность прогнозов и степень достижения запланированных результатов (Bonaccorsi et al., 2020). Это обусловлено тем, что прогнозирование и планирование
7 http://nrea.gov.eg/test/en/About/Tranning, дата обращения 08.02.2024.
8 https://futures.kaist.ac.kr/en/?c=290, дата обращения 12.02.2024.
имеют дело с низким уровнем непредсказуемости. Соответственно, другие направления (визионерское, сценарное, трансформационное, критический анализ) отражаются в меньшей степени, поскольку относятся к зоне повышенной неопределенности и их сложнее оценивать (Cuhls, 2003).
Чаще всего результаты измеряются с учетом трех критериев: прозрачность (надлежащее использование государственных средств для достижения цели), аргументированность (основания для продолжения Форсайта), извлечение уроков (знания о способах успешной реализации) (Georghiou, Keenan, 2006). Наиболее сложно добиться прозрачности, поскольку приходится упорядочивать хаотичное многообразие целей и интересов разных участников. Задача усложняется необходимостью применять к оценке Форсайта те же унифицированные тесты, что и к другим государственным программам. Критерий «извлечение уроков» возник в повестке сравнительно недавно, следовательно, его роли пока уделяется меньше внимания. Между тем этот аспект представляет высокую ценность, поскольку связывает текущие проблемы с будущими, повышая доверие к Форсайту (van der Steen, van der Duin, 2012). Придание ему большей значимости сдерживается фактом того, что выход за рамки сложившихся установок в когнитивном плане дается стейкхолдерам нелегко.
Одним из проектов, результаты которого оценены как весьма успешные, считается Форсайт-исследование «Прогнозирование и анализ среднесрочных и долгосрочных будущих конфликтов в целях их предотвращения» (Foresight and Analysis of Mid- to Long-Term Future Conflicts for Policy Agenda Setting Project), проведенное в 2019 г. Южнокорейским институтом передовой науки и технологий (Korea Advanced Institute of Science & Technology, KAIST). Оно легло в основу национальной стратегии развития, опубликованной в 2021 г.8 Стояла
Рис. 2. Матрица рамочных основ для реализации и оценки Форсайт-проектов
Нормативные j ориентиры и s =S в S g я § § & ™ Планирующая Рациональное планирование для достижения определенных результатов Визионерская Работа с разными вариантами неопределенных картин будущего для достижения четко сформулированных целей высокого уровня Трансформационная Формирование новых траекторий в настоящем, эффекты от следования которым не всегда очевидны
л и о Ей & о в Сканирование среды, попытки адаптации Прогностическая Вычисление или оценка вероятностей будущих эффектов Сценарная Исследование неопределенного будущего путем постановки альтернативных картин и их сопоставления Критическая Оспаривание «официальных», детерминированных вариантов будущего, построение интерпретационных фреймов
Низкий (закрытые системы) Уровень воспринимаемой непредсказуемости Высокий (открытые системы)
Источник: (Minkkinen et al., 2019).
задача интегрировать Форсайт в разработку политики путем превентивного анализа основ для ожидаемых конфликтов. По состоянию на 2016 г. Корея занимала третье место по степени угроз для внутренней безопасности, вызванных конфликтами, среди 34 государств, входящих в ОЭСР (Heo, Seo, 2021). Участники исходили из осознания существующего разрыва между «знанием» будущего и действиями в его направлении при выработке стратегий (Riedy, 2009; van der Steen, van Twist, 2013; van Dorsser et al., 2020). Отсутствие «веских доказательств», подверженность ошибкам, проблематичность легитимизации ограничивают влияние Форсайта на разработку политики (Riedy, 2009; van der Steen, van Twist, 2013). Понимание того, как и почему стейкхолде-ры концептуализируют проблемы или стратегии, может повысить открытость лиц, принимающих решения, к новым идеям и концепциям Форсайта (van der Steen, van Twist, 2013). Проект опосредованно способствовал наращиванию управленческого потенциала для выработки обоснованных решений. Даже при отсутствии прямой связи с официальной политикой мандат этих программ позволил корейскому правительству составить карту общества, иллюстрирующую структуры и интенсивность конфликтов. Наличие подобной информационной базы дает возможность подготовиться или адаптироваться к внезапным и неожиданным событиям (Calof, Smith, 2012; Vervoort, Gupta, 2018). В корейском исследовании применялись одновременно принципы «от настоящего к будущему» (прогнозирование) и «от будущего к настоящему» (обратный прогноз) (Riedy, 2009). Эти и другие подходы способствовали успешной интеграции Форсайта в политическую повестку.
Когнитивные вопросы
Оценка Форсайта тесно взаимосвязана с темой когнитивных предубеждений, во многом определяющих качество сценариев, которая изучается с 1980-х гг. (Hogarth, 1980; Hogarth, Makridakis, 1981; Schoemaker, 1993; Brad-field, 2008; Chermack, Nimon, 2008; Wright, Goodwin, 2009; Meissner, Wulf, 2013). На каждом этапе Форсайта существует масса предпосылок для ошибок и предвзя-тостей, влияющих на представления экспертов, их трактовку и способность охватить динамичный контекст (Bolger, Wright, 2017). Наиболее распространенная проблема выражается в том, что эксперты испытывают трудности с расстановкой приоритетов, выделением времени и интеллектуальных ресурсов для внесения своего вклада в процесс (Videira et al., 2009; Carlsson et al., 2015). Исследования в когнитивной и социальной психологии раскрывают причины столь широкого распространения предубеждений среди стейкхолдеров. Этот вопрос активно обсуждается как в общих обзорах (Martino, 2003; UNIDO, 2004; Georghiou et al., 2008; Giaoutzi, Sapio, 2012), так и при анализе конкретных
программ, например, немецкого проекта Delphi II (Blind et al., 2001). Так, эксперты часто проецируют причинно-следственные связи из собственной сферы деятельности на другие области и склонны проявлять повышенный оптимизм, оценивая перспективы знакомой им технологии (Tversky, Kahneman, 1974; Tichy, 2004). В сценариях часто прослеживается закономерность: краткосрочные прогнозы характеризуются оптимистичным настроем, тогда как долгосрочные — пессимистичным (Linstone, Turoff, 1976; Winkler, Moser, 2016; Markmann et al., 2021). Вместо целостного охвата альтернативных возможностей участники Форсайт-исследований обычно ограничиваются привычными «узкими» подходами, что влияет на качество стратегий (Kahneman et al., 1982). По оценкам прошлых лет, примерно 80% всех технологических прогнозов ранее оказывались ошибочными (Golden et al., 1994).
Когнитивные искажения проявляются в расхождении между фактическими результатами поведения людей и эффектами, которых можно было бы ожидать при следовании правилам рационального выбора и вероятностного суждения. Стейкхолдерам приходится решать сложные интеллектуальные задачи, раскрывать многообразные причинно-следственные связи, учитывать динамику десятков переменных, выстраивать непротиворечивые представления о возможных будущих траекториях и т. п. Результат отдален во времени от момента прогнозирования и зачастую формально не оценивается. Причинные механизмы настолько сложны, что не всегда очевидно, каким образом извлекать уроки из полученного опыта. Типичную проблему представляет чрезмерная самоуверенность, которая приводит к иллюзии компетентности (Moore et al., 2015; Feld et al., 2017). Эксперты склонны переоценивать либо недооценивать потенциал, достижимый за определенный период времени (Kahneman, Tversky, 1979; Sharot et al., 2012). Они проявляют избыточный оптимизм в отношении того или иного сценария и отказываются от корректировки своих оценок даже перед обнаруженным фактом негативной обратной связи (Buehler et al., 1994). Допускаются ошибки в интерпретации экспоненциального роста и формулируются оценки, которые во многом уступают реальным значениям (Ebersbach et al., 2008; Levy, Tasoff, 2016; 2017). Связанное с этим упущение заключается в невозможности идентифицировать редкие события или явления с низкой предсказуемостью.
В нашей статье мы не можем охватить весь спектр когнитивных «ловушек», в которые попадают участники Форсайт-исследований, однако приведем некоторые подходы к их преодолению. Универсального рецепта в этом отношении не существует, специалисты рекомендуют экспериментировать с различными комбинациями методов, исходя из принципов разнообразия, опровержения и абстракции. На практике они проявляются в виде таких инструментов, как обеспечение многооб-
9 Методология FAROUT зародилась в рамках конкурентной разведки (Fleisher, Bensoussan, 2000) и предполагает оценку стратегических проектов по шести критериям, из англоязычных наименований которых складывается аббревиатура — ориентированность на будущее (Future-oriented), внимание к деталям (Accurate), ресурсная эффективность (Resource-efficient), объективность (Objective), полезность (Useful) и своевременность (Timely).
Табл. 1. Основные когнитивные предубеждения и способы их преодоления
Стадия Форсайта Когнитивные предубеждения Способы минимизации влияния
Постановка цели проекта Эффект фрейминга (framing effect) — дисбаланс в смысловых акцентах, влияющий на восприятие контекста и принятие решений. Фокус на смещается на преимущества технологии, а риски ее побочных эффектов упускаются. Расширение многообразия участников — носителей разных точек зрения, которые формируют коллективный, более сбалансированный «ментальный шаблон» в отношении технологии, допускают альтернативные сценарии.
Мониторинг трендов Эффект социальной желательности (social desirability bias) - стремление сформулировать точку зрения, соответствующую сложившимся коллективным представлениям. Исследование трендов в абстрактном функциональном пространстве, без привязки к доминирующему социальному восприятию.
Анализ технологических опций Предвзятость «в защиту» (advocacy bias) — склонность эксперта, хорошо знакомого с технологией, акцентироваться на ее преимуществах и умалчивать о рисках и затратах. Вовлечение представителей разных точек зрения позволяет расширить повестку для обсуждения технологических опций, оспорить доминирующие убеждения. Задействуется подход «абстрактное функциональное пространство».
Составление технологической дорожной карты Ошибка планирования (planning fallacy) — необоснованный оптимизм и недооценка временных сроков, требуемых для «созревания» технологии. Регулярный пересмотр дорожной карты, сроков и затрат, выявление потенциальных «сбоев», декомпозиция проблемы на более частные задачи.
Изучение пользователей Эффект «ложного консенсуса» (false consensus effect) — склонность проецировать индивидуальный способ мышления на других, недооценка потенциальных пользователей и переоценка масштабов принятия технологии. Регулярный системный анализ мотивов, по которым пользователи отвергают технологию.
Анализ зрелости технологии Эффект социальной желательности. Игнорируется степень зрелости технологии, не уделяется достаточного внимания негативным сигналам. Регулярное отслеживание соответствия технологии заявленному функционалу, оценка потенциальных сбоев на разных этапах жизненного цикла.
Анализ рынков Эффект привязки (anchoring bias). Прогнозы объема нового рынка необоснованно привязываются к статистике по существующим рынкам. Создание альтернативного «ментального якоря» — допущение сценария, при котором большинство пользователей отвергают технологию.
Формирование политики Чрезмерная убежденность политиков в собственном экспертном опыте (overconfidence) делает их неспособными применять результаты Форсайта. Повышение эффективности коммуникации экспертов с лицами, принимающими решения, их вовлеченность в Форсайт на начальных стадиях.
Источник: адаптировано авторами на основе (Bonaccorsi et al., 2020).
разия стейкхолдеров, триангуляция (перекрестная проверка данных и мнений по разным источникам), экспертная самооценка и метод FAROUT9.
В табл. 1 систематизированы основные типы когнитивных искажений, проявляющиеся на разных стадиях Форсайта, и подходы к их преодолению (Bonaccorsi et al., 2020).
В нашем исследовании результатов «Egypt LEAPS» мы пытаемся оценить полученные данные через линзу этих знаний.
Форсайт для энергетического сектора Египта
Первый для Египта энергетический Форсайт — «Egypt LEAPS» — был организован Академией научных исследований и технологий (Academy of Scientific Research and Technology, ASRT) совместно с Нильским университетом (Nile University) и отраслевыми исследовательскими центрами в 2017 г. (Rezk et al., 2019). Мотивом для его инициирования стала потребность правительства в разработке сценариев развития рассматриваемого сектора с учетом технологических, юридических, социальных и политических аспектов. Намечены два сценарных горизонта — до 2022 и 2027 г. Проект основывался на двухраундовом Дельфи-обследовании, охватившем 180 тем, включая технологические и нетехнологические.
Они были распределены по 14 направлениям, среди которых — энергоэффективность, формирование благоприятных условий для бизнеса, использование ископаемого топлива и ВИЭ. Прогнозировались сроки технологического «созревания», вывода на рынок и начала широкого использования в Египте (Rezk et al., 2019). Для промежуточной оценки итогов проекта были выбраны: солнечная энергетика, энергоэффективность и ископаемые виды топлива. Обсуждались общая эффективность взаимодействия участников в рамках «Egypt LEAPS» и степень расхождения с реальностью прогнозов, делавшихся на достигнутый временной горизонт (2022 г.).
В ходе онлайн-опроса эксперты высказали степень своей удовлетворенности коммуникацией и полученными результатами. Затем мы измеряли уровень реализации сделанных предположений о тех или иных направлениях развития энергетики. Исходные утверждения относительно ожидаемого времени их осуществления, выдвинутые в 2017 г., сопоставлялись с периодом, указанным респондентами нашего оценочного обследования в 2022 г. На этой основе делались выводы о правильности либо ошибочности прогнозов «Egypt LEAPS».
Поскольку первый из горизонтов (2022 г.) уже наступил, то факты не-реализации событий, предсказывавшихся на это время, позволяли квалифицировать соответствующие гипотезы как ошибочные. Прогнозы,
Табл. 2. Схема соответствия для оценки точности прогнозов «Egypt LEAPS»
Рис. 3. Мнения респондентов об обработке результатов «Egypt LEAPS»
Вопросы, относящиеся к предшествующему Дельфи-обследованию
_!_
Получили ли вы результаты предшествующего раунда обследования?
■ Да ■ Нет Источник: составлено авторами.
Эффективно ли, по вашему мнению, обрабатывались эти результаты?
Прогнозный горизонт Экспертное мнение, высказанное в ходе нашего обследования Вердикт
2022 2022 Подтвердился
2022 2027 Не подтвердился
2022 Пока не подтвердился Не подтвердился
2027 2022 Не подтвердился
2027 2027 Подтвердился
2027 Не будет реализован Не подтвердился
Источник: составлено авторами.
10
9
сделанные на 2027 г., считались по-прежнему достоверными, при условии того, что респонденты подтвердили предположение об их реализуемости к обозначенному сроку. Если же события, отнесенные к данному горизонту, по факту уже реализовались либо признавалось, что намеченную планку следует отодвинуть за 2027 г., соответствующие сценарии также расценивались как нерелевантные.
В табл. 2 приведена схема соответствия, использованная для оценки точности первоначальных прогнозов.
Результаты кейс-анализа и их обсуждение
В нашем анализе результатов «Egypt LEAPS» принимали участие 28 экспертов. Примечательно, что все они были задействованы в оцениваемом Дельфи-процессе в 2017 г., но по прошествии пяти лет лишь 11 из них вспомнили об этом факте, когда им выслали приглашения, что подтверждает актуальность проблемы когнитивных факторов, затронутых в предыдущих разделах. Подобные когнитивные упущения дают основания сомневаться и в достоверности других результатов. Большинство респондентов (55%) обследования подтвердили, что исследовательские направления, выбранные для «Egypt LEAPS», изначально были релевантными. Удовлетворенность уровнем организации проекта выразили 36% респондентов, степень согласия с итоговыми сценариями — 9%. Возможно, это свидетельствует о том,
что участники не обладали достаточной информированностью и подготовкой к подобным проектам. Часть по-настоящему вовлеченных экспертов подчеркнули особую ценность полученного опыта. Подавляющее большинство отметили хорошую доступность результатов проекта и в целом охарактеризовали их обработку как эффективную (рис. 3).
Критерии результативности оценивались на основе нескольких вариантов ответа (рис. 4). Примечательно, что эксперты не были осведомлены об алгоритме обработки заполненных анкет «Egypt LEAPS» — в итоговом докладе отсутствует его описание. О последующем использовании результатов Дельфи-опроса документ также не упоминает. Однако поскольку стейкхолдеры все же ответили на наш вопрос, мы полагаем, что они выразили личное мнение о важности результатов проекта.
Для оценки результатов Дельфи-исследования построена таблица соответствия между первоначальными прогнозными оценками «Egypt LEAPS», фактическими данными по состоянию на 2022 г. и новыми предположениями участников нашего обследования. Точных прогнозов оказалось больше, чем ошибочных, хотя и ненамного (33 против 26), что позволяет говорить об относительном успехе проекта. Для выявления соответствующих закономерностей (если таковые вообще существуют) требуются дополнительные исследования. Углубленный анализ показал, что большинство неточ-
Рис. 4. Оценки использования результатов «Egypt LEAPS»
Какие из следующих заявлений наиболее соответствуют назначению результатов предшествующего Дельфи-обследования?
Получение поддержки со стороны общественности ^■ 2
Разработка фискальных стимулов развития энергетического сектора 1
Организация нового конкурса по выделению грантов на развитие приоритетных технологий
Принятие решений бизнесом об инвестировании в
энергетический сектор Египта
Использование Министерством энергетики для составления планов развития сектора
Источник: составлено авторами.
Табл. 3. Число точных и ошибочных прогнозов, сделанных в рамках «Egypt LEAPS»
Тип Точные прогнозы Ошибочные прогнозы
Сроки технологической реализации 17 13
Сроки социальной реализации 16 13
Источник: составлено авторами.
ных прогнозов относились к области энергоэффективности (75% не подтвердившихся). Оценки в отношении использования ископаемого топлива и солнечной энергии оказались более релевантными (18% и 36% ошибочных, соответственно). Это можно объяснить повышенной сложностью прогнозирования энергоэффективности. Данная область характеризуется высокой степенью междисциплинарно сти — ее развитие зависит от разработок в других направлениях помимо энергетики (например, материаловедение, электротехника и т. д.). Существенного разброса успешных и ошибочных прогнозов в отношении сроков технологической и социальной реализации не выявлено (табл. 3).
В изученном нами Дельфи-обследовании уровень вовлечения политиков был недостаточным, что сказалось на ненадлежащем распространении результатов и, как следствие, слабом влиянии на принятие решений. С другой стороны, неудовлетворительный эффект можно рассматривать как стартовую точку для того, чтобы переосмыслить подходы к организации последующих Форсайт-проектов, повысить качество коммуникации между участниками и обеспечить их глубокую вовлеченность.
Заключение
В контексте ускоряющегося технологического развития Форсайт является важным инструментом для построения эффективных стратегий. Задачей настоящего ис-
следования было оценить результаты энергетического Форсайт-проекта «Egypt LEAPS», основанного на методологии Дельфи. Мы рассмотрели потенциал возобновляемой энергетики в Египте, прежде всего солнечной, и практику оценки Форсайтов, уделив отдельное внимание работе с когнитивными предубеждениями стейкхолдеров. Путем экспертного опроса анализировались точность прогнозов, промежуточный горизонт для которых уже наступил, и качество самого Форсайт-процесса.
По итогам оценки можно сделать ряд практических и политических выводов. Энергетический Форсайт — масштабный, дорогостоящий и сложный проект, оперирующий разными методологиями и концепциями. Каждая его стадия нуждается в тщательной оценке на предмет эффективности и влияния когнитивных предубеждений участников. Это особенно актуально для развивающихся стран, где дополнительным фактором усложнения Форсайт-проекта выступает слабая институциональная среда. Необходим надлежащий анализ слабых мест и недоработок на всех этапах. Это означает, что с самого начала в Форсайт-процесс должны закладываться надежные механизмы оценки результатов и готовность к постоянным итерациям. Последовательная корректировка его дизайна, опирающаяся на новые методы работы со сложностью и неопределенностью, способствует укреплению доверия между участниками и последовательному снижению уровня ошибочных предположений.
Для того чтобы Форсайт стал неотъемлемой частью формирования реалистичных стратегий и подготовленные экспертами рекомендации учитывались при принятии решений, необходимо обеспечить надлежащий уровень вовлеченности политиков в подобные инициативы. Долгосрочные эффекты проявятся только при условии, что Форсайт будет реализовываться не в формате одноразовых эпизодических проектов, а носить регулярный и системный характер и наращивать собственную базу компетенций.
Библиография
Abdelrazik M.K., Abdelaziz S.E., Hassan M.F., Hatem T.M. (2022) Climate action: Prospects of solar energy in Africa. Energy Reports, 8,
11363-11377. https://doi.org/10.1016/j.egyr.2022.08.252 Andersen P.D., Silvast A. (2023) Experts, stakeholders, technocracy, and technoeconomic input into energy scenarios. Futures, 154, 103271s.
https://doi.org/10.1016/j.futures.2023.103271 Blind K., Cuhls K., Grupp H. (2001) Personal attitudes in the assessment of the future of science and technology. A factor analysis approach.
Technological Forecasting and Social Change, 68, 131-149. https://doi.org/10.1016/S0040-1625(00)00083-4 Bolger F., Wright G. (2017) Use of expert knowledge to anticipate the future: Issues, analysis and directions. International Journal of
Forecasting, 33, 230-243. https://doi.org/10.1016/j.ijforecast.2016.11.001 Bradfield R.M. (2008) Cognitive barriers in the scenario development process. Advances in Developing Human Resources, 10(2), 198-215.
http://dx.doi.org/10.1177/1523422307313320 Buehler R., Griffin D., Ross M. (1994) Exploring the "planning fallacy": Why people under-estimate their task completion times. Journal of
Personality and Social Psychology, 67(3), 366-381. https://psycnet.apa.org/doi/10.1037/0022-3514.67.3366 Calof J., Smith J.E. (2012) Foresight impacts from around the world. Foresight, 14(1), 5-14. https://doi.org/10.1108/14636681211214879 Carlsson M., Dahl G.B., Ockert B., Rooth D.O. (2015) The Effect of Schooling on Cognitive Skills. The Review of Economics and Statistics,
97(3), 533-547. https://www.jstor.org/stable/43554993 Chanchangi Y.N., Ghosh A., Sundaram S., Mallick T.K. (2020) Dust and PV performance in Nigeria: A review. Renewable and Sustainable
Energy Reviews, 121, 109704. http://dx.doi.org/10.1016/j.rser.2020.109704 Chen Y., Zhao J., Lai Z., Wang Z., Xia H. (2019) Exploring the effects of economic growth, and renewable and non-renewable energy consumption on China's CO2 emissions: Evidence from a regional panel analysis. Renewable Energy, 140, 341-353. https://doi. org/10.1016/j.renene.2019.03.058
Chermack T.J., Nimon K. (2008) The effects of scenario planning on participant decision-makingstyle. Human Resources Development Quarterly, 19(4), 351-372. http://dx.doi.org/10.1002/hrdq.1245
Cuhls K. (2003) From forecasting to foresight processes — new participative foresight activities in Germany. Journal of Forecasting, 22(2-3),
93-111. https://doi.org/10.1002/for.848 Dagnachew A.G., Hof A.F., Roelfsema M.R., van Vuuren D.P. (2020) Actors and governance in the transition toward universal electricity
access in Sub-Saharan Africa. Energy Policy, 143, 111572. http://dx.doi.org/10.1016/j.enpol.2020.111572 Del Granado P.C., Renger H., van Nieuwkoop, Kardakos E.G., Schaffner C. (2018) Modelling the energy transition: A nexus of energy
system and economic models. Energy Strategy Reviews, 20, 229-235. https://doi.org/10.1016Zj.esr.2018.03.004 Ebersbach M., van Dooren W., van den Noorgate W., Resing W.C.M. (2008) Understanding linear and exponential growth: Searching for the
roots in 6-to-9 year olds. Cognitive Development, 23, 237-257. https://doi.org/10.1016/jxogdev.2008.01.001 European Commission (2016) EU reference scenario 2016 - Energy, transport and GHG emissions trends to 2050, Brussels: European Commission.
Feld J., Sauermann J., de Grip A. (2017) Estimating the relationship between skill and overconfidence. Journal of Behavioral and Experimental
Economics, 68, 18-24. https://doi.org/10.1016/j.socec.2017.03.002 Fleisher C.S., Bensoussan B. (2000) A FAROUT way to manage CI Analysis. Competitive Intelligence Magazine, 3(1), 1-8. Fraunhofer ISI (2014) Optimized pathways towards ambitious climate protection in the European electricity system (EU Long-term scenarios
2050II), Karlsruhe: Fraunhofer Institute for Systems and Innovation Research. Galvin R., Healy N. (2020) The green new deal in the United States: What it is and how to pay for it. Energy Research & Social Science, 67,
101529. http://dx.doi.org/10.1016/j.erss.2020.101529 Georghiou L., Cassingena Harper J., Keenan M., Miles I., Popper R. (eds.) (2008) The Handbook of Technology Foresight. Concepts and
Practice, Cheltenham: Edward Elgar. Georghiou L., Keenan V. (2006) Evaluation of national foresight activities: Assessing rationale, process and impact. Technological Forecasting
and Social Change, 73(7), 761-777. https://doi.org/10.1016/j.techfore.2005.08.003 Giaoutzi M., Sapio B. (2012) Recent Developments in Foresight Methodologies, Heidelberg, Dordrecht, London, New York: Springer. Goke L., Weibezahn J., von Hirschhausen C. (2023) A collective blueprint, not a crystal ball: How expectations and participation shape long-
term energy scenarios. Energy Research & Social Science, 97, 102957. https://doi.org/10.1016/j.erss.2023.102957 Golden J., Milewicz J., Herbig P. (1994) Forecasting: Trials and tribulations. Management Decision, 32(1), 33-36. https://doi. org/10.1108/00251749410050642
Guivarch C., Lempert R., Trutnevyte E. (2017) Scenario techniques for energy and environmental research: An overview of recent developments to broaden the capacity to deal with complexity and uncertainty. Environmental Modelling and Software, 97, 201-210. https://doi.org/10.1016/j.envsoft.2017.07.017 Hainsch K., Loffler K., Burandt T., Auer H., del Granado P.C., Pisciella P., Zwickl-Bernhard S. (2022) Energy transition scenarios: What policies, societal attitudes, and technology developments will realize the EU Green Deal? Energy, 239, 122067. https://doi.org/10.1016/j. energy.2021.122067
Hawila D., Mondal A.H., Kennedy S., Mezher T. (2014) Renewable energy readiness assessment for North African countries. Renewable and
Sustainable Energy Reviews, 33, 128-140. http://dx.doi.org/10.1016/j.rser.2014.01.066 Hogarth R.M. (1980) Judgment and Choice. The Psychology of Decision, NewYork: Wiley.
Hogarth R.M., Makridakis S. (1981) Forecasting and planning: An evaluation. Management Science, 27(2), 115-138. http://dx.doi.
org/10.1287/mnsc.27.2.115 Huard A., Fremaux B. (2020) Bright Perspectives for Solar Power in Africa?, Paris: Institut Montaigne. IEA (2022) World Energy Outlook 2022, Paris: IEA.
IPCC (2014) Climate Change 2014: Mitigation of Climate Change. Contribution of Working Group III to the Fifth Assessment Report of the
Intergovernmental Panel on Climate Change, Cambridge (UK), New York: Cambridge University Press. IRENA (2018) Renewable Energy Outlook: Egypt, Abu Dhabi: International Renewable Energy Agency. IRENA (2021) Renewable Capacity Statistics 2021, Abu Dhabi: International Renewable Energy Agency.
Kahneman D., Slovic P., Tversky A. (1982) Judgment under Uncertainty: Heuristics and Biases, Cambridge: Cambridge University Press. Kahneman D., Tversky A. (1979) Intuitive prediction: Biases and corrective procedures. TIMS Studies in Management Science, 12, 313-327. Kimuli D., Nabaterega R., Banadda N., Kabenge I., Ekwamu A., Nampala P. (2017) Advanced education and training programs to support renewable energy investment in Africa. International Journal of Education and Practice, 5, 8-15. http://dx.doi.org/10.18488/ journal.61/2017.5.1/61.1.8.15
Knosala K., Kotzur L., Roben F.T., Stenzel P., Blum L., Robinius M., Stolten D. (2021) Hybrid hydrogen home storage for decentralized
energy autonomy. International Journal of Hydrogen Energy, 46(42), 21748-21763, http://dx.doi.org/10.1016/j.ijhydene.2021.04.036 Ko B.K., Yang J.-S. (2024) Developments and challenges of foresight evaluation: Review of the past 30 years of research. Futures, 155, 103291.
https://doi.org/10.1016/jfutures.2023.103291 Levy M.R., Tasoff J. (2016) Exponential-growth bias and lifecycle consumption. Journal of the European Economic Association, 14(3), 545583. https://www.jstor.org/stable/43965317 Levy M.R., Tasoff J. (2017) Exponential-growth bias and overconfidence. Journal of Economic Psychology, 58, 1-14. http://dx.doi. org/10.1016/j.joep.2016.11.001
Lichtenstein S., Fischhoff B. (1977) Do those who know more also know more about how much they know? The calibration of probability
judgments. Organizational Behavior and Human Performance, 20, 159-183. https://doi.org/10.1016/0030-5073(77)90001-0 Linstone H.A., Turoff M. (1976) The Delphi Method: Techniques and Applications. Journal of Marketing Research, 13(3), 317-318. https:// doi.org/10.2307/3150755
Luo H., Lin X. (2023) Empirical Study on the Low-Carbon Economic Efficiency in Zhejiang Province Based on an Improved DEA Model
and Projection. Energies, 16, 300. https://doi.org/10.3390/en16010300 Markmann C., Spickermann A., von der Gracht H.A., Brem A. (2021) Improving the question formulation in Delphi-like surveys: Analysis of the effects of abstract language and amount of information on response behavior. Futures & Foresight Science, 3(1), 1-20. https://doi. org/10.1002/ffo2.56
Martino J.P. (2003) A review of selected recent advances in technological forecasting. Technological Forecasting and Social Change, 70,
719-733. https://doi.org/10.1016/S0040-1625(02)00375-X Meissner Ph., Wulf T. (2013) Cognitive benefits of scenario planning: Its impact on biases and decision quality. Technological Forecasting and
Social Change, 80, 801-814. https://doi.org/10.1016/j.techfore.2012.09.011 Minkkinen M., Auffermann B., Ahokas I. (2019) Six foresight frames: Classifying policy foresight processes in foresight systems according to perceived unpredictability and pursued change. Technological Forecasting and Social Change, 149, 119753. https://doi.org/10.1016/j. techfore.2019.119753
Moore D.A., Carter A.B., Yang H.H.J. (2015) Wide off the mark. Evidence on the underlying causes of overprecision in judgment.
Organizational Behavior and Human Decision Processes, 131, 110-120. https://doi.org/10.1016/j.obhdp.2015.09.003 Nemet G.F. (2021) Improving the crystal ball. Nature Energy, 6, 860-861. http://dx.doi.org/10.1038/s41560-021-00903-9 Newby-Clark I.R., Ross M., Buehler R., Griffin D.W. (2000) People focus on optimistic scenarios and disregard pessimistic scenario when predicting task completion times. Journal of Experimental Psychology Applications, 6(3), 171-182. https://doi.org/10.1037//1076-898x.6.3.171
Nwanekezie K., Noble B., Poelzer G. (2022) Strategic assessment for energy transitions: A case study of renewable energy development in Saskatchewan, Canada. Environmental Impact Assessment Review, 92, 106688. https://doi.org/10.1016/j.eiar.2021.106688
Othman R., Hatem T.M. (2022) Assessment of PV technologies outdoor performance and commercial software estimation in hot and dry
climates. Journal of Cleaner Production, 340, 130819. http://dx.doi.org/10.1016/j.jclepro.2022.130819 Paltsev S. (2017) Energy scenarios: The value and limits of scenario analysis. WIREs: Energy and Environment, 6(4), e242. http://dx.doi. org/10.1002/wene.242
Rezk M.R., Radwan A., Salem N., Sakr M.M., Tvaronaviciené M. (2019) Foresight for sustainable energy policy in Egypt: Results from a
Delphi survey. Insights into Regional Development, 1(4), 357-369. https://doi.org/10.9770/ird.2019.1.4(6) Riedy C. (2009) The influence of futures work on public policy and sustainability. Foresight, 11, 40-56. https://doi. org/10.1108/14636680910994950
Rubio A., Agila W., González L., Ramirez M., Pineda H. (2023) A Critical Analysis of the Impact of the Pandemic on Sustainable Energy Scenarios. Paper presented at the 11th International Conference on Smart Grid (icSmartGrid), Paris, France, 2023. https://doi.org/10.1109/ icSmartGrid58556.2023.10171066
Sareen S., Haarstad H. (2018) Bridging socio-technical and justice aspects of sustainable energy transitions. Applied Energy, 228, 624-632.
https://doi.org/10.1016Zj.apenergy.2018.06.104 Schoemaker P.J.H. (1993) Multiple scenario development: Its conceptual and behavioral foundations. Strategic Management Journal, 14,
193-213. https://www.jstor.org/stable/2486922 Sharot T., Guitart-Masip M., Korn C.W., Chowdhury R., Dolan R.J. (2012) How Dopamine Enhances an Optimism Bias in Humans. Current
Biology, 22(16), 1477-1481. https://doi.org/10.1016/jxub.2012.05.053 Stern D.I. (2017) How accurate are energy intensity projections? Climatic Change, 143(3), 537-545. http://dx.doi.org/10.1007/s10584-017-2003-3
Tichy G. (2004) The over-optimism among experts in assessment and foresight. Technological Forecasting and Social Change, 71(4), 341-363.
https://doi.org/10.1016/j.techfore.2004.01.003 Trutnevyte E. (2016) Does cost optimization approximate the real-world energy transition? Energy, 106, 182-193. http://dx.doi.org/10.1016/j.
energy.2016.03.038 UNIDO (2004) Foresight Methodologies Textbook, Wien: UNIDO.
Van der Steen M., van der Duin P. (2012) Learning ahead of time: How evaluation of foresight may add to increased trust, organizational
learning and future oriented policy and strategy. Futures, 44 (5), 487-493. https://doi.org/10.1016/j.futures.2012.03.010 Van der Steen M.A., van Twist M.J.W. (2013) Foresight and long-term policy-making: An analysis of anticipatory boundary work in policy
organizations in the Netherlands. Futures, 54, 33-42. https://doi.org/10.1016/j.futures.2013.09.009 Van Dorsser C., Taneja P., Walker W., Marchau V (2020) An integrated framework for anticipating the future and dealing with uncertainty
in policymaking. Futures, 124, 102594. https://doi.org/10.1016/jfutures.2020.102594 Vervoort J., Gupta A. (2018) Anticipating climate futures in a 1.50C era: The link between foresight and governance. Current Opinion in
Environmental Sustainability, 31, 104-111. https://doi.org/10.1016/jxosust.2018.01.004 Videira N., Antunes P., Santos R. (2009) Scoping river basin management issues with participatory modelling: The Baixo Guadiana
experience. Ecological Economics, 68, 965-978. https://doi.org/10.1016/j.ecolecon.2008.11.008 Winkler J., Moser R. (2016) Biases in future-oriented Delphi studies: A cognitive perspective. Technological Forecasting and Social Change,
105(C), 63-76. https://doi.org/10.1016/j.techfore.2016.01.021 Wright G., Goodwin P. (2009) Decision making and planning under low levels ofpredictability. Enhancing the scenario method. International Journal of Forecasting, 25(4), 813-825. https://doi.org/10.1016/j.ijforecast.2009.05.019
