CC BY-NC-ND
115
Событие
Количественные методы в исследованиях будущего
Международный семинар
28 ноября 2013 г.
Международный семинар, организованный ИСИЭЗ НИУ ВШЭ, был посвящен перспективным направлениям использования количественных методов в исследованиях будущего и их интеграции с традиционными качественными техниками, основанными на обработке экспертной информации. Обсуждались:
• ключевые тенденции, новые методы и подходы в исследованиях будущего;
• потенциал и ограничения использования количественных методов;
• новые возможности применения средств моделирования и визуализации данных;
• методы анализа «больших данных» (big data) в Форсайт-исследованиях.
В последние десятилетия интенсивность и масштабы исследований будущего во всем мире увеличиваются. Об этом свидетельствуют данные глобальных мониторингов, регулярно представляемые в докладах Европейской Форсайт-платформы [European Commission, 2010]. Накоплен значительный массив теоретических и методологических подходов к реализации долгосрочного прогнозирования развития науки, технологий, экономики и общества. При этом сохраняется исторически сложившаяся демаркация между качественным и количественным инструментарием. Пути ее преодоления и их интеграции стали одной из главных тем на крупнейшем Форсайт-форуме — конференции
«Future-oriented Technology Analysis», состоявшейся в 2011 г. в Севилье (Испания). Этому вопросу была посвящена отдельная секция, в подготовке и модерации которой активно участвовали научный сотрудник Института перспективных технологических исследований при Объединенном исследовательском центре Европейской комиссии (EU Joint Research Centre — Institute for Prospective Technological Studies, JRC-IPTS) Карел Хагеман (Karel Haegeman) и директор Международного научно-образовательного Форсайт-центра ИСИЭЗ НИУ ВШЭ Александр Соколов1. Многие эксперты указывают на необходимость преодоления этого разрыва. Предполагается, что в среднесрочной перспективе результаты предсказательного моделирования, анализ больших данных и интерактивные веб-инструменты войдут в «золотой стандарт» качества для любого авторитетного исследования будущего.
Открывая семинар, первый проректор НИУ ВШЭ, директор ИСИЭЗ Леонид Гохберг подчеркнул актуальность его тематики на фоне масштабных преобразований в национальных инновационных системах развитых стран и повышения роли исследований будущего
1 Режим доступа: http://foresight.jrc.ec.europa.eu/fta_2011/intro.html (дата обращения 10 декабря 2013 г.).
76 | ФОРСАЙТ | Т. 8. № 1 I 2014
Событие
в формировании научно-технической и инновационной политики в глобальном масштабе. Институтом реализованы десятки прогнозных проектов на федеральном, региональном, отраслевом и корпоративном уровнях. Докладчик отметил растущую потребность в интеграции количественных методов в Форсайт-проекты с целью формирования устойчивой информационно-аналитической базы и укрепления доверия стейкхолдеров к результатам исследований. Эта тенденция получила дополнительный импульс в связи с развитием российской системы технологического прогнозирования, что предполагает повышенные требования к качеству прогнозных исследований. В связи с этим необходимо изучить лучший мировой опыт использования количественных методов и современных инструментов на основе информационнокоммуникационных технологий (ИКТ) в Форсайте еще на этапе подготовки научно-методического обеспечения для следующего долгосрочного прогноза научнотехнологического развития.
К. Хагеман представил ключевые тенденции в интеграции качественных и количественных методов в рамках исследований будущего, обозначенные участниками вышеупомянутой конференции2. Демаркационная линия в методологии Форсайта определяется, прежде всего, формой используемых данных: количественные методы опираются на численную информацию, а качественные — на данные нечисловой природы. Руководствуясь этим критерием, следует учитывать, что новые средства анализа «больших данных» являют собой классический пример пограничных техник, где количественные инструменты применяются к качественным данным. Развитие Интернета и его модификаций, таких как Web 2.0 и Web 3.0, предоставляет дополнительные возможности для извлечения и обработки разнородной информации и появления новых — смешанных — методик исследований.
Одним из главных драйверов интеграции качественных и количественных методов в Форсайт-проектах выступает растущий спрос лиц, принимающих решения, на численные оценки параметров и эффектов прогнозируемых событий. К сожалению, при наличии подобных оценок у заказчиков часто создается ложное впечатление о значительном снижении неопределенности относительно фундаментальных событий будущего. В этом случае исследователям следует корректно позиционировать свою работу и полученные результаты. Исторически сложились два направления: традиционные подходы к прогнозированию опираются на количественные методы и данные, тогда как Форсайт базируется преимущественно на качественной информации с использованием экспертных оценок. Сегодня они активно интегрируются, и в этом заинтересованы обе стороны: Форсайт-исследования могут обогатить свой инструментарий за счет количественных методов, а представители традиционного прогнозирования видят в Форсайте колоссальный потенциал для валидации и широкого распространения результатов своих работ. Однако на пути объединения двух групп методов существует ряд серьезных барьеров, в частности:
• отсутствие четких правил и критериев для выбора методических решений;
• склонность к использованию только классических методов;
• глубокие идеологические и эпистемологические противоречия во взглядах между исследователями;
• несогласованность во мнениях относительно совместимости количественных и качественных методик.
Исследования будущего с позиций интеграции рассматриваемых методик можно классифицировать по трем категориям:
• Независимое использование качественных и количественных методов, где количественные результаты служат входными данными для качественных процедур, либо реализация двух параллельных исследований, имеющих идентичные цели и задачи, с последующей проверкой совместимости их выводов. Позитивный эффект подобного рода независимой организации методических решений заключается в простоте реализации работ и применение результатов, а негативный — в отсутствии взаимного обучения и синергии от использования знаний и подходов различной природы.
• Формирование и использование интерфейсов между различными методическими решениями. Примеры, как правило, базируются на применении средств ИКТ: обработке «больших данных», мониторинге Интернет-ресурсов (Web scrapping), анализе социальных сетей, новых методах визуализации данных для лучшего сопоставления качественной и количественной информации и др. Преимущества такого подхода заключаются в усилении синергии от применения различных методов, недостатки — в статичности обучения участников, которое не развивается по мере реализации проектов.
• Полная интеграция, которая подразумевает слияние количественных результатов с качественными. Она увеличивает синергию взаимного обучения специалистов и глубину аналитических решений. Однако реальные примеры подобного взаимопро-
Подробнее см. [Haegeman et al., 2013].
2014 I т. 8. № 1 I ФОРСАЙТ | 77
Событие
никновения пока отсутствуют ввиду перечисленных выше барьеров.
Объединение подходов создает многочисленные положительные эффекты в исследовательском сообществе; с этим трендом, безусловно, связано будущее методологии Форсайта. Численные оценки и данные способствуют повышению степени доверия заинтересованных сторон к Форсайту, а обработка качественной информации обеспечивает совместимость конечных выводов с реалиями развития социальноэкономических систем. Чтобы преодолеть барьеры, следует прилагать систематические усилия для развития методологии исследований будущего, включая:
• разработку новых методических решений, совмещающих качественный и количественный инструментарий;
• изучение лучшего опыта в таких динамичных сферах, как энергетика, транспорт, изменение климата и др.;
• обеспечение сбалансированного участия на ключевых этапах работ специалистов, владеющих как количественными, так и качественными методами;
• наращивание компетенций начинающих исследователей в обоих направлениях.
Заведующий отделом научно-технологического прогнозирования ИСИЭЗ НИУ ВШЭ Александр Чулок, представляя обзор развития исследований будущего в России, сфокусировался на методических разработках и результатах трех долгосрочных научнотехнологических прогнозов, реализованных под эгидой Минобрнауки России. К наиболее масштабным Форсайт-исследованиям последнего десятилетия относятся проект актуализации приоритетных направлений развития науки и технологий и перечня критических технологий (2009-2010 гг.), а также серия работ по формированию долгосрочных прогнозов научнотехнологического развития России (ДПНТР) (последний раунд реализован в 2011-2013 гг.). Ведущую роль в этих проектах играл ИСИЭЗ НИУ ВШЭ, аккумулировавший лучшие практики Форсайт-исследований: в этой области Институтом выполнены десятки проектов международного, национального, отраслевого, регионального и корпоративного уровней. Анализ этого опыта показывает, что и заказчики, и иные стейкхолдеры заинтересованы в более интенсивной интеграции количественных методов в инструментарий исследований будущего. Если первоначально в них применялись традиционные для Форсайта методы, использующие экспертные оценки, то выводы завершенного в 2013 г. третьего раунда ДПНТР в значительной степени базировались на обработке библиометрической и патентной статистики, семантических методах контентанализа специализированных баз данных, онлайн-инструментах интерактивного взаимодействия с экспертами и др.
А. Соколов обратил внимание аудитории на динамику эволюции инструментов научно-технической и инновационной политики в России и изменение роли Форсайта на разных ее этапах. С начала 2000-х гг. вклад исследований будущего в формирование стратегических решений на федеральном и региональном уровнях неуклонно возрастал. В 2013 г. по указу Пре-
78 | ФОРСАЙТ | Т. 8. № 1 I 2014
зидента Российской Федерации от 7 мая 2012 г. № 596 «О долгосрочной государственной экономической политике» была создана система технологического прогнозирования, призванная обеспечить научно обоснованные и согласованные представления ключевых стейкхолдеров о долгосрочных перспективах развития науки, технологий, экономики и общества. Ее появление существенно меняет роль Форсайта: он трансформируется из инструмента информационного обеспечения и разработки рекомендаций в интегральный компонент научно-технической и инновационной политики. Вместе с тем существенно повысились и требования к проведению исследований: работая в тесной связке с лицами, принимающими решения, и экспертами высокого уровня, исследователи должны иметь в своем арсенале самые современные средства и методический инструментарий для обоснования эффективности рекомендаций. Поэтому запрос на развитие компетенций в использовании количественных методов и их интеграцию с устоявшимися практиками в сфере исследований будущего становится особенно актуальным для России.
Оба докладчика поддержали тезис о том, что крайне важно расширять форматы и каналы коммуникации между учеными и специалистами, деятельность которых связана с различными доменами методологии Форсайта. Подобные задачи стоят не только на глобальном уровне, но и в отдельных организациях. Новые форматы взаимодействия специалистов и экспертов в рамках столь масштабных проектов создадут основу для совершенствования методологии прогнозирования и позволят эффективно встраивать результаты Форсайта в систему научно-технической и инновационной политики. Выбор определенного набора методов и средств достижения целей исследования в значительной степени зависит от его заказчиков, их опыта и уровня доверия к тем или иным методическим решениям.
Профессор Технологического университета Делф-та (Delft University of Technology, Нидерланды) Скотт Каннингем (Scott Cunningham) ознакомил слушателей с возможностями применения методов моделирования и визуализации данных о перспективных технологиях и продуктах. Прогнозирование параметров возникающих технологий осложняется необходимостью максимально точного определения вектора и скорости их изменений. Многие комплексные технологии имеют междисциплинарную базу, которая обусловливает многовариантность их применения и значительный спектр взаимосвязанных факторов, влияющих как на качество, так и на цену конечного продукта или услуги. Инструменты решения таких прогнозных задач создаются в рамках технометрики — дисциплины, измеряющей скорость технологических изменений и оценивающей возможности достижения целевых параметров эффективности для выработки стратегических рекомендаций на национальном, отраслевом и корпоративном уровнях [Coccia, 2005]. Динамичное развитие в этой области получил комплексный анализ данных для технологического прогнозирования параметров перспективных образцов техники (technological forecasting data
Событие
envelopment analysis, TFDEA). Этот подход опирается на ряд положений:
• существует абстрактный фронт будущих технологических достижений, который отражает перспективные параметры технологий и продуктов в конкретной области;
• указанный фронт линеен в гиперпространстве измеряемых параметров;
• скорость изменений в определенных технологиях возрастает через определенные интервалы времени.
Поскольку каждый ключевой параметр эффективности характеризуется значительным массивом информации о конкретных технологических и продуктовых решениях, серьезным вызовом является корректность визуализации изменений многомерных характеристик в двух- или трехмерном пространствах. С. Каннингем предложил методику прогнозирования, которая предполагает рассмотрение на плоскости шести особых паттернов развития технологий и соответствующих форм визуализации:
• «завернутый» — развитие начинается с определенной точки, далее в зоне бифуркации разделяется на несколько альтернативных векторов;
• «клинообразный» — область технологических усовершенствований ограничена конкретными коридорами допустимых значений;
• «концентрический» — технология распространяется из центра по всем направлениям;
• «запертый» — технологические параметры увеличиваются в узкой области, обладая большим потенциалом развития;
• «фронтальный» — технологические параметры «нарастают» как фронт волны в том или ином секторе из центра.
Техники обработки данных для визуализации в рамках TFDEA условно делятся на линейные и нелинейные. Первые основаны на уменьшении размерности — вычленении главных параметров из общего набора, вторые позволяют выделить специальные подобласти, сохраняющие необходимые признаки полного набора сведений.
Выступавший продемонстрировал использование методов TFDEA на примере анализа траектории развития трех разных концепций дизайна силовой установки в автомобилях: электрического двигателя (electric vehicle, EV), гибридного электрического двигателя (hybrid electric vehicle, HEV), гибридного электрического двигателя с подключением к внешнему источнику энергии для перезарядки батарей (plug-in hybrid electric vehicle, PHEV). Среди анализируемого набора данных представлены параметры конкретных технических образцов: тип, вес, мощность, емкость батарей, ускорение, выбросы CO2, расход топлива и потребление электричества на милю пробега. После нормализации данные обрабатывались посредством нелинейного алгоритма (t-distributed stochastic neighbor embedding), который позволил представить наглядные траектории развития каждой из трех технологий на плоскости. В результате четко обозначились два технологических фронта (в первом объединены PHEV и HEV, во втором — EV), двигающихся
навстречу друг другу в некоторую область возможной эволюции этих технических систем.
Рассмотренная методика позволяет определить не просто потенциальные технологические улучшения, но и конкретные характеристики спроса, которые могут проявиться на рынках в ближайшие три-пять лет. Полученные результаты применимы для широкого спектра задач: от выбора наиболее оптимального дизайна конструкции транспортного средства до определения направлений инвестирования в научные разработки.
Ведущий научный сотрудник Лаборатории исследований науки и технологий ИСИЭЗ НИУ ВШЭ Озчан Саритас (Ozcan Santas) раскрыл возможности использования анализа «больших данных» в исследованиях будущего. В результате проникновения ИКТ во все сферы жизнедеятельности количество информации растет экспоненциальными темпами. Человеческое сознание уже не способно справиться с ее обработкой и извлечением нужных сведений из доступного массива. Ускоряется эволюция научно-технологических областей: появляются новейшие знания, концепции, варианты конструкций, технологии, продукты и рынки. Серьезной проблемой для исследователей становится поиск эффективных средств выявления и мониторинга этих изменений. Возрастают потребности в продвинутых инструментах вычленения знаний из неструктурированных массивов данных, располагающихся на различных ресурсах сети Интернет. В частности, процессинг «больших данных» может эффективно применяться в сканировании горизонтов для решения следующих задач:
• идентификации возникающих социально-экономических трендов, которые способствуют росту экономики или парируют глобальные вызовы;
• выявления зарождающихся научно-технологических трендов и слабых сигналов;
• раннего предупреждения событий-«джокеров» и системных шоков;
• определения стран, компаний, научных и финансовых организаций в качестве потенциальных партнеров для того или иного исследования.
Источниками сведений выступают научные публикации, бизнес-аналитика, исследовательские и аналитические отчеты, патентная статистика, медиаконтент, материалы академических и бизнес-конференций, вебсайты, блоги, социальные сети и др. В жизненном цикле технологии можно выделить четыре стадии — возникновение, рост, взросление, насыщение. На первой релевантная информация может отбираться из медиаконтента и на сетевых площадках, на второй — из научных публикаций и аналитических докладов, на третьей — из патентных баз. Полученные таким образом данные обеспечивают информационно-аналитическую основу для формирования научно-технической и инновационной политики, а также программ финансирования исследований и разработок на различных уровнях принятия решений.
Профессор Технологического университета Делфта Эрик Пруйт (Erik Pruyt) представил современные методы имитационного моделирования количественных сценариев развития науки и технологий. Он сфоку-
2014 | Т. 8. № 1 I ФОРСАЙТ | 79
Событие
сировался на природе «глубоких» неопределенностей и средствах исследования возможных сценариев их разрешения. Представленные техники моделирования сегодня развиваются двумя центрами компетенций: Лабораторией анализа политики и стратегии Технологического университета Делфта и корпорацией РЭНД (RAND Corporation). Исследователи из этих организаций поддерживают тесные связи и постоянно обмениваются опытом в рамках программ академической мобильности и участия в международных научных мероприятиях.
Изучение поведения сложных социально-технических систем включает анализ неопределенностей, развивающихся во взаимосвязанном пространстве многих факторов, и поведения лиц, принимающих решения на основе субъективных суждений. Для решения подобных задач применяются различные комбинации имитационных моделей, которые часто интегрируются в гибридные комплексы (системная динамика, дискретно-событийный подход, мультиагентные, сложные адаптивные системы и др.). Указанные подходы нацелены на наиболее реалистичное воспроизведение поведения исследуемых систем. Каждая группа методов имеет свои преимущества и ограничения c точки зрения эффективности в имитации того или иного паттерна моделируемых процессов. Э. Пруйт использует инструментарий системной динамики в рамках методики исследовательского моделирования и анализа (exploratory modelling and analysis), предложенной корпорацией РЭНД [Bryant, Lempert, 2010]. При этом создается имитационная модель, позволяющая генерировать максимально возможное (ограниченное только вычислительными ресурсами и временем) пространство сценариев поведения системы, раскрывая разнообразные комбинации факторов и внешних событий. В результате в базу данных программного комплекса записывается массив электронных треков работы модели, обрабатываемый при помощи алгоритмов автоматического поиска и анализа паттернов. Полученная информация и аналитические инструменты позволяют эффективно решать несколько типов задач:
• поиск наиболее интересных системных реакций и дальнейшее исследование причин выявленных девиаций;
• тестирование в рамках сгенерированного пространства сценариев стратегических мер политики и расчет оценок робастности конкретного решения;
• выбор оптимального пакета политических рекомендаций, учитывающего системные риски и возможности, а также поставленные стратегические цели.
Одно из наиболее перспективных приложений указанной методики — построение адаптивных и интерактивных дорожных карт принятия стратегических решений, базирующихся на количественных эвристиках формата «если — то», исходя из анализа сгенерированного пространства сценариев развития системы.
Директор Финского центра исследований будущего Университета Турку (Finland Futures Research Center (FFRC), University of Turku) Юха Каскинен (Juha
80 I ФОРСАЙТ I T. 8. № 1 I 2014
Kaskinen) поделился опытом использования моделирования и онлайн-игр на примере двух разработок: модели интегрированного анализа долгосрочного развития сектора экономики (LINDA) и веб-платформы сетевого моделирования количественных и качественных сценариев. Первая была разработана для долгосрочного прогнозирования развития энергетики в Лаосе и Камбодже. Пользователем задаются ретроспективные данные о потреблении исследуемых видов энергоносителей и перспективный горизонт прогнозирования, разделенный на интервалы 5-7 лет. На каждом отрезке с помощью экспертных процедур определяются скорости изменения объемов спроса и потребления энергии по конкретному типу носителя и производятся сценарные расчеты потребления энергии секторами экономики в будущем для производства единицы ВВП. Преимущества модели заключаются в ее относительной простоте, позволяющей в сжатые сроки создать десятки количественных сценариев развития исследуемой отрасли.
Платформа сетевого моделирования количественных и качественных сценариев — социально-сетевой интерактивный инструмент, который в ближайшее время будет запущен Финским центром исследований будущего в режиме онлайн. В рамках основного сценария использования такого инструмента модератор создает абстрактное пространство игры, в котором приглашенные участники в интерактивном режиме устанавливают сценарии развития изучаемой области. Пользователи совместно обсуждают и определяют количественные и качественные развилки, пошагово конструируя собственные стратегии. Так, в интересах исследования могут быть заданы некоторые предустановленные условия и сценарные факторы, с учетом которых игроки смогут разработать сюжеты и модели поведения.
В ходе итоговой дискуссии участники семинара подняли ряд фундаментальных вопросов, касающихся перспективных направлений интеграции качественных и количественных методов. Эксперты сошлись во мнении, что подобные процессы всецело способствуют обогащению методологии Форсайта и усилению синергетических эффектов взаимного обучения специалистов в совместных проектах. Однако при накоплении опыта возникает риск потери устойчивости и предсказательной силы результатов исследований: это обусловлено появлением новых неопределенностей на эпистемологическом уровне, возникающих при синтезе методик, элементы которых ранее традиционно относились к различным методологическим областям.
Другой важный тезис, получивший поддержку аудитории, заключается в том, что обсуждаемые «идеальные» методы количественного моделирования, несмотря на их внешнюю привлекательность, не могут использоваться без экспертных данных и последующей валидации результатов. Стремление лиц, принимающих решения, получить точные числовые оценки по интересующим вопросам приводит к распространенному заблуждению о возможности радикального снижения степени фундаментальных неопределенностей относительно будущих событий, способствует субъ-ективизации и некорректной оценке стратегических решений. Поэтому требуется последовательная работа
Событие
по развитию методологии исследований будущего, сопровождаемая просветительской деятельностью для заинтересованных стейкхолдеров. Это позволит избежать критических перекосов в сторону «модных» методических решений и минимизировать риски использования бренда Форсайта для решения краткосрочных конъюнктурных задач политического характера.
В заключение эксперты сформировали перечень перспективных направлений развития методологии Форсайта и кооперации специалистов качественного и количественного профилей, в том числе:
• использование «больших данных»;
• моделирование мер и инструментов научнотехнической и инновационной политики: применение массивов накопленной статистики и индикаторов;
• согласование качественных и количественных макроэкономических прогнозов с прогнозами развития науки и технологий;
• количественная оценка вклада науки и технологий в экономический рост;
• новые техники визуализации многомерных данных и результатов исследований;
• перспективные ИКТ-решения для онлайн-обработки данных и извлечения знаний из источников, распределенных в сети Интернет;
• совершенствование предсказательного моделирования научно-технологического развития на основе обработки библиометрических и патентных данных;
• имитационное моделирование для исследования
пространства неопределенностей и оценки робастности стратегических решений. В
Текст — Владимир Месропян. Фото — Сергей Жихарев
Bryant B., Lempert R. (2010) Thinking inside the box: A participatory, computer-assisted approach to scenario discovery // Technological
Forecasting and Social Change. Vol. 77. № 1. P. 34-49.
Coccia M. (2005) Technometrics: Origins, historical evolution and new directions // Technological Forecasting and Social Change. Vol. 72. № 8.
P. 944-979.
European Commission (2010) EFMN: Mapping Foresight. Revealing How Europe and Other World Regions Navigate into the Future. Brussels: European Commission.
Haegeman K., Marinelli E., Scapolo F., Ricci A., Sokolov A. (2013) Quantitative and qualitative approaches in Future-oriented Technology Analysis (FTA): From combination to integration? // Technological Forecasting and Social Change. Vol. 80. № 3. Р 386-397.
Quantitative Methods in Future Studies
International Research Workshop
28 November 2013
Abstract
The international research workshop, hosted by the (HSE) Institute for Statistical Studies and Economics of Knowledge in November 2013 at the Higher School of Economics addressed the growing need to integrate quantitative methods in Foresight projects. The main topic was the creation of a sustainable and reliable information and analytical database for use by stakeholders. In Russia, database development has been encouraged by the establishment of a national system of technological forecasting, which emerges from the increased demand for quality in forecasting research.
Presentations were made by world renowned experts — representatives of the EU Joint Research Centre — Institute for Prospective Technological Studies (JRC-IPTS); Delft University of Technology, the Netherlands; Finland Futures Research Center (FFRC), the University of Turku, Finland; HSE and other organizations. They presented findings about best practices in quantitive research and the newest ICT-based tools in Foresight studies worldwide. These will be used in preparing
a scientific and methodological base for the next round of Russia’s Long-Term S&T Foresight.
Workshop participants discussed the prospects and challenges of integrating qualitative and quantitative methods in Foresight analysis. International experts described the potential for applying modeling techniques and data visualization for promising technologies and products, presented state-of-the-art simulation tools for developing quantitative scenarios for S&T, and shared experiences in the use of online games in future studies. The development of these and similar techniques, in the view of the participants, provides a greater space for improving the Foresight methodology and the cooperation of specialists in qualitative and quantitative methods. It is assumed that in the medium term, these tools will be a part of the “gold standard” for any definitive Foresight study.
Most experts agreed that the integration of qualitative and quantitative methods enriches the Foresight methodology and increases synergies from mutual learning of specialists in collaborative projects.
Bryant B., Lempert R. (2010) Thinking inside the box: A participatory, computer-assisted approach to scenario discovery. Technological Forecasting and Social Change, vol. 77, no 1, pp. 34-49.
Coccia M. (2005) Technometrics: Origins, historical evolution and new directions. Technological Forecasting and Social Change, vol. 72, no 8, pp. 944-979.
European Commission (2010) EFMN: Mapping Foresight. Revealing How Europe and Other World Regions Navigate into the Future, Brussels: European Commission.
Haegeman K., Marinelli E., Scapolo F., Ricci A., Sokolov A. (2013) Quantitative and qualitative approaches in Future-oriented Technology Analysis (FTA): From combination to integration? Technological Forecasting and Social Change, vol. 80, no 3, pp. 386-397.
2014 I T. 8. № 1 I ФОРСАЙТ | 81
