CC BY
13Михеев А.В. УДК 519.711.2
ВОЗМОЖНОСТИ АНАЛИЗА ТЕКСТОВОЙ ИНФОРМАЦИИ НАУЧНО-ТЕХНОЛОГИЧЕСКОЙ НАПРАВЛЕННОСТИ ДЛЯ ОБОСНОВАНИЯ ИННОВАЦИОННОГО РАЗВИТИЯ ЭНЕРГЕТИКИ
Михеев Алексей Валерьевич
к.т.н., ученый секретарь Институт систем энергетики им. Л.А. Мелентьева СО РАН, 664130 г. Иркутск, ул. Лермонтова 130, e-mail: [email protected]
Аннотация. Приведен краткий обзор современного состояния методов анализа текстовой информации в доступных электронных ресурсах в сфере науки и технологий. Рассмотрены основные преимущества комбинации методов анализа текстовых источников с методами системного анализа, применяемыми при разработке отраслевого прогноза научно-технологического развития в энергетике. Предложена концепция интеграции информации, получаемой при такой комбинации, для формирования инновационных индикаторов развития энергетических технологий.
Ключевые слова: анализ текстовых данных, tech mining, научно-технологическое прогнозирование, инновационное развитие, системный анализ, инновационные индикаторы, энергетические технологии.
Введение. Технологические инновации в энергетике, обусловленные в основном структурными и количественными изменениями в секторе конечного потребления энергии, характеризуются, как правило, изначальным несовершенством, высокой стоимостью, медленными темпами внедрения, и, как следствие, несут в себе высокие инвестиционные риски. Более того, успех инноваций в энергетическом секторе конкретной страны сильно зависит не только от внутренних условий и существующей инфраструктуры, задающих инерцию, но и от внешнеэкономических факторов, с трудом прогнозируемых. Например, прогноз научно-технологического развития отраслей топливно-энергетического комплекса России на период до 2035 года [3] опирается на три совершенно различных сценария предполагаемого развития мировой энергетики: 1) эволюционный («новая эпоха углеводородов»), 2) долговременные низкие цены на углеводородное топливо, 3) сценарий «энергетической революции», связанный с вводом в широкий оборот генерации на возобновляемых источниках энергии (и не только) при ускорении жизненного цикла энергетических инноваций в целом. Второй и третий сценарии содержат большие вызовы и проблемы для российской энергетики и экономики. При этом вероятность реализации любого из приведенных сценариев характеризуется высокой неопределенностью, которая размывает границы технологического прогноза и тормозит формирование необходимых стратегических ориентиров и приоритетов инновационного развития энергетики России.
С другой стороны, в мире предпринимаются попытки уменьшить уровень неопределенности выбора пути научно-технологического развития через применение методов интеллектуального анализа больших массивов постоянно накапливаемой научно-
технической текстовой информации в электронном виде о ведущихся в мире исследованиях и разработках с целью выявления ключевых технологических трендов, идентификации перспективных и прорывных технологий, более глубокого проникновения в непрерывно идущие и значительно ускорившиеся в последние годы инновационные процессы, в том числе и в такой достаточно консервативной отрасли, как энергетика, [4].
1. Методы анализа текстовой информации в научно-технологической сфере. Глубокий анализ текстовых массивов из электронных ресурсов научно-технологической направленности и извлечение знаний из них в целях лучшего понимания инновационных процессов получил за рубежом наименование Tech Mining [8] по аналогии с термином Data Mining (интеллектуальный анализ данных). Однако, если последний термин на практике чаще имеет дело со структурированными массивами числовых данных, то Tech Mining ориентирован в основном на текстовые источники информации, содержащие структурированные (даты публикаций, авторы, организации, ключевые слова) и неструктурированные (семантика заголовков, тексты аннотаций и статей) данные. Данный подход представляет собой форму контекстного анализа и является естественным развитием таких аналитических способов обработки информации, как традиционный исследовательский обзор литературы, библиометрия (как наукометрия или технометрия), анализ текстов (Text Mining), патентный анализ и т.п. Рецензируемые научно-технические публикации из полнотекстовых баз ведущих международных издательств или международных баз цитирования Web of Science, Scopus, Springer и других, сведения из патентных баз данных, как наиболее доступные и обладающие достаточно высоким уровнем доверия, это наиболее часто используемые источники исходной текстовой информации для Tech Mining. Также используют открытые источники сети Интернет: новостные подборки, презентации, аналитические отчеты, научно-технические блоги, геоданные, соцсети и т.п. Источниками информации для анализа могут выступать также результаты экспертных или социальных опросов.
Сама процедура анализа текстовой информации по методологии Tech Mining универсальна и состоит из 10 основных этапов [9]:
1. Выбор предметной области решаемой проблемы, постановка задачи исследования.
2. Выбор релевантных источников (базы данных, интернет, люди) и обеспечение доступа к ним.
3. Поиск информации по выбранным источникам, по выбранной предметной области.
4. Извлечение текстовых данных, например, аннотаций, ключевых слов, полного текста статей, ссылок.
5. Первичная обработка извлеченной информации, в том числе приведение к однотипному формату, очистка от шума и ошибок, фильтрация, структурирование.
6. Глубокий анализ обработанных данных, в том числе через обработку естественного языка (Natural Language Processing, NLP), включая выделение содержательных терминов и фраз, выявление шаблонов и перекрестных ссылок, взаимосвязей и фактов, расчет статистических характеристик, классификация, кластерный анализ, построение семантических сетей и т.д.
7. Расчет специальных количественных / качественных индикаторов инноваций.
8. Когнитивная визуализация полученных результатов.
9. Интерпретация и обобщение полученных результатов с учетом мнения экспертов, их интеграция с базой знаний, изготовление информационного продукта, представляющего результаты в комфортной, легко доступной форме для лиц, принимающих решения.
10. Стандартизация и автоматизация по мере возможности всех предыдущих шагов.
Процедура Tech Mining и отдельные ее этапы могут выполняться итеративно. На
каждом этапе может применяться большой набор методов и средств, в том числе систематическим становится использование семантических технологий c опорой на онтологии [11]. Привлечение экспертов в исследуемой предметной области и учет их мнения, особенно на начальных 1-2 и финальных 8-10 этапах из списка выше, является обязательным для обеспечения достижения поставленных целей и корректности результатов анализа.
Обобщенно подход Tech Mining может быть представлен в виде «плавильной печи» (см. рис. 1), осуществляющей конверсию текстовой информации доступных научно-технических электронных ресурсов в наборы взаимосвязанных измерений с помощью набора статистических и семантических техник. Измерения содержат данные по записям (статьям), технологическим терминам/концептам, перекрестным ссылкам между ними по множественным разрезам, а именно по тематическим доменам и связям между ними, персоналиям (исследователям), организациям (центрам исследований и разработок), видам источников, географической привязки, временной шкалы и т.п.
Рис. 1. Tech Mining как способ конверсии информации из ресурсов в области науки и технологий в полезные информационные продукты для управления инновационным
развитием.
Важной составляющей является получение количественных и качественных индикаторов, обеспечивающих полезные для оценки и обоснования перспектив научно -технологического развития функции, а именно:
1. Идентификация активно развивающихся, потенциально перспективных на конечном временном горизонте, недавно появившихся (новых) технологий, отслеживание прогресса в действующих технологиях сегодняшнего дня, получение сведений о ключевых свойствах и компонентах технологий, в том числе выявление неявных факторов, влияющих на их развитие.
2. Систематизация знаний в предметной области, определение топологии и связей технологического домена, построение карт технологических кластеров, визуализация ландшафта исследований и разработок, в том числе определение ведущих исследовательских центров и групп разработчиков по тематике и географическому местоположению.
3. Получение наборов временных рядов данных для аппроксимации технологических трендов с их дальнейшей экстраполяцией в будущее, для разработки моделей роста технологий в русле концепции жизненного цикла (life-cycle) технологий, в том числе оценка степени зрелости технологий и их проникновения на рынок.
Комплексная индикативная оценка, получаемая в итоге, может существенно облегчить разработку таких часто используемых аналитиками и консультантами информационных продуктов и средств, как научно-технологический мониторинг, научно-технологические прогнозы, построение дорожных карт инновационного развития технологий, информационное обеспечение для системного оценивания сравнительной эффективности технологий и систем поддержки принятия решений по управлению инновационным развитием.
Tech Mining имеет ограничения, подробно обсуждаемые в [6, 8, 9], среди которых наиболее существенным является трудность обеспечения полноты и репрезентативности исходной информации. Например, далеко не все результаты исследований в сфере передовых технологий в принципе публикуются, патентуются и упоминаются в Интернете, будучи используемы в качестве «ноу-хау» или имплицитных знаний. Часто они становятся доступны с большим временным лагом, который может достигать нескольких лет.
2. Примеры Tech Mining для анализа развития технологий энергетики. Применимость различных способов анализа научно-технологических текстовых данных для выявления трендов развития технологий в различных областях уже показана в большом количестве работ, среди которых исследования по технологиям энергетики занимают значительную часть. Как правило, предметом анализа становится одно из основных направлений развития мировой энергетики последних лет - технологии возобновляемых источников энергии и альтернативной энергетики.
В основополагающей для концепции Tech Mining работе [8] приведен пример пошагового выполнения анализа текстовых данных на основе статистики публикаций из международных баз цитирования Web of Science, EI Compendex и мирового патентного индекса Derwent в области технологий топливных элементов (fuel cells). Целевые установки анализа -выявление и сравнение ведущих центров исследований в этой области, исследования трендов развития технологий различных типов топливных элементов (например, био- или твердооксидных), выявление основных сфер применения топливных элементов в будущем. В [5] интеграция результатов библиометрического и патентного анализа с логистической моделью жизненного цикла технологии (S-кривая роста) применена для оценки зрелости
развития водородной энергетики и ряда технологий топливных элементов с последующими рекомендациями по формированию стратегии инновационного развития.
В [12] приведен пример построения конечного информационного продукта - технологической дорожной карты, отражающей динамику изменений показателя эффективности конверсии энергии в солнечных элементах на базе обобщенной технологии сенсибилизированных красителей (Dye-Sensitized Solar Cells или DSSC). Для этой же DSSC-технологии проведена идентификация технологических трендов и построение дорожных карт на основе методологии SAO (subject-action-object) [10], которая, в отличие от классических количественных библиометрических оценок трендов развития по ключевым терминам и словам, представляет развитие технологий в контексте будущей проблематики индустриальных задач технологического домена и путей их решения.
Универсальный, независимый от предметной области подход автоматической идентификации и мониторинга технологических трендов описан в [7]. В качестве работоспособ -ного примера рассмотрена по полным текстам корпуса статей из Web of Science и Scopus обобщенная сфера энергетических технологий в разрезе одного из семантических индикаторов - «стабильности». Важным достоинством предложенного авторами подхода является комбинация использования семантических методов (онтология индикаторов технологических трендов) и гибридного процессора естественного языка (hybrid NLP) с использованием лингвистических паттернов, что позволяет более точно извлекать необходимые значимые терминологические концепты. На основе статистических значений и семантических индикаторов с учетом мнения экспертов проведена оценка степени зрелости для ряда технологий в области энергетики через их соотнесение с расположением на кривой Гартнера, представляющей субъективную модель восприятия человеком этапов технологического развития.
3. Возможности анализа научно-технологической информации для обоснования инновационного развития энергетики России. По итогам краткого и далеко неполного обзора применения различных методов Tech Mining представляется важным, чтобы подход был встроен на формальной основе в существующую методологию разработки отраслевого прогноза научно-технологического развития в энергетике [1], как в части обеспечения работы коллективной экспертной деятельности (экспертные панели, опросы, форсайтные исследования), так и в части дополнения системных исследований на математических моделях. Однако, существует проблема формальной интеграции между Tech Mining и методологией системного анализа, которая является в настоящее время основным средством обоснования научно-технологического развития в энергетике и ее отраслях [2]. Методы системного анализа позволяют получать сравнительные качественные и количественные оценки для совокупности технологий сложной структуры, включают оценку потенциала совершенствования каждой из сопоставляемых технологий и закономерностей ее освоения, выявление благоприятных условий и эффективных областей применения энергетической технологии, анализ механизмов конкуренции энергетической технологии с альтернативными решениями, оптимизацию схем и параметров технологии, решений на ее основе. Основные с функциональной точки зрения этапы системного анализа развития технологий в энергетике представлены на рис. 2.
Анализ научно-технологической текстовой информации Tech Mining будет более всего востребован на подготовительном этапе сбора и систематизации необходимых данных
в целях повышения контекстной осведомленности экспертов, участвующих в разработке прогноза, а также для формирования базы предварительных прогнозно-аналитических материалов. Инструментарий Tech Mining позволяет автоматизировать процедуры, обычно трудоемкие и вручную выполняемые исследователями. В методологии системного анализа подготовительная фаза соответствует анализу внешних и внутренних условий этапа 1, оказывающих влияние на развитие энергетических технологий.
Преимуществом использования Tech Mining также является более полный охват и систематизация информации сектора исследований и разработок, включая области, имеющие опосредованное отношение к энергетике. Через взаимосвязи между технологиями энергетики и смежных областей науки, таких, как физика, химия, материаловедение, нано, информационные технологии и других, при наличии прогресса в последних могут быть косвенно выявлены ожидаемые точки роста первых. К примеру, идентификация серьезного прогресса в создании долговечных устойчивых к высоким температурам свыше 2700° К материалов может привести к возобновлению разработок эффективных энергетических установок на основе МГД-генераторов открытого цикла.
Рис. 2. Методология системного анализа для обоснования инновационного развития
энергетики.
Вместе с тем с методической точки зрения важно прояснить, каким образом полученные в результате Tech Mining количественные и качественные индикаторы могут быть фор -мально переданы, согласованы между собой и использованы в блоках на последующем этапе 2, где выполняется собственно системный анализ развития энергетических технологий. Для этого на текущем этапе предварительных исследований разработана концептуальная
диаграмма (рис. 3) взаимодействия основных укрупненных групп данных, используемых для формирования значений инновационных индикаторов развития в сфере энергетических технологий. Состав характеристик и индикаторов внутри групп приведен в качестве репрезентативного примера для отражения содержательной сущности каждой группы. Он может быть расширен или редуцирован в зависимости от поставленной задачи.
Рис. 3. Общая схема интеграции основных групп данных, используемых для формирования инновационных индикаторов развития энергетических технологий.
Группа данных официальной статистики по топливно-энергетическому комплексу содержит количественные макропоказатели по отрасли, которые малоприменимы для оценки конкретной энергетической технологии, однако отражают состояние энергетики в целом. Это официальные данные в структурированном (табличном) виде государственной статистики, Международного энергетического агентства и т.п.
Группа текстовых данных в сфере науки и технологий представляет извлеченную и прошедшую первичную обработку информацию из электронных источников научно -технологической направленности.
Статистические характеристики вычисляются для различных видов текстовых данных и данных официальной статистики с помощью методов статистического анализа.
Семантические индикаторы позволяют с помощью набора лингвистических паттернов и маркеров извлечь из полнотекстовых записей различные признаки и свойства энерге-
тической технологии. Простой утилитарной функцией группы «Семантических индикаторов» может быть прямое извлечение конкретных значений показателей энергетической тех -нологии (например, коэффициента конверсии или стоимости произведенной электроэнергии). Получение более сложных параметров, например, уровня зрелости (положения на S-образной кривой развития) требует комбинации семантических индикаторов с группой статистических характеристик.
Группа характеристик энергетической технологии является предметно-ориентированной, в основном отражает спектр показателей эффективности технологии и является основой для формирования инновационных индикаторов типа technology-push, отражающих давление научно-технологического прогресса на инновационную систему.
Социально-экономические факторы, прямо или косвенно влияющие на развитие энергетических технологий, используются для генерации инновационных индикаторов типа market-pull, отвечающих за учет ключевых запросов, потребностей и условий рыночной среды.
Результирующая группа индикаторов инновационного развития содержит значения качественной и количественной индикативной оценки динамики развития энергетической технологии и ее компонентов в первую очередь через ожидаемый рост показателей эффективности, а также с точки зрения места и перспектив конкретной технологии в рамках инновационной системы. Значения индикаторов используются на финальном этапе методологии системного анализа, а именно при обосновании инновационного развития энергетики и путей его реализации (рис. 2).
Заключение. Предложенная схема дает общие контуры структурной интеграции разнородных данных, полученных в ходе анализа текстовых научно-технических ресурсов и данных, и данных, используемых в системных энергетических исследованиях (в разделе оценки и сопоставления технологий). Реализация представленной схемы возможна на основе:
1. Онтологии всех классов и объектов данных в составе групп индикаторов/ характеристик, приведенных на рис. 3. Также дополнительно к онтологии необходимо разработать информационно-математическую модель, описывающую правила последовательного взаимодействия и преобразования данных между объектами.
2. Онтологии предметной области энергетических технологий, свойства которых являются подмножеством онтологии информационных объектов. Эта онтология описывает структуру информации, необходимой для работы блока системного технологического моделирования.
Хотя разработка подобных онтологий и моделей представляет сложность в силу комплексной природы используемых характеристик и индикаторов и решаемых с их помощью задач, но это позволит на формальной основе интегрировать подход Tech Mining в методологию системного анализа для автоматизации формирования и повышения качества научно-технологического прогноза и обоснования возможных путей инновационного развития в энергетике.
Исследование выполнено при частичной финансовой поддержке РФФИ в рамках научного проекта № 17-07-01341, а также в рамках научного проекта по государственному заданию ИСЭМ СО РАН № АААА-А17-117030310436-7.
СПИСОК ЛИТЕРАТУРЫ
1. Афанасьева М.В., Березной А.В., Дементьев В.В. и др. Концепция системы мониторинга и прогнозирования научно-технического прогресса в энергетике / Нац. исслед. ун-т «Высшая школа экономики». М.: НИУ ВШЭ. 2015. 16 с.
2. Обоснование развития электроэнергетических систем: Методология, модели, методы, их использование / отв. ред. Н.И. Воропай. Новосибирск: "Наука". 2015. 448 с.
3. Прогноз научно-технологического развития отраслей топливно-энергетического комплекса России на период до 2035 года. Минэнерго РФ. 2016. Режим доступа: http://minenergo.gov.ru/system/download-pdf/6365/66647 (дата обращения: 11.11.2017) (in Russian)
4. Anticipating Future Innovation Pathways through Large Data Analysis / Eds. T.U. Daim, D. Chiavetta, A.L. Porter, O. Saritas. In book series "Innovation, Technology, and Knowledge Management". Springer. 2016. 360 p. DOI: 10.1007/978-3-319-39056-7.
5. Chen Y.H., Chen C.Y., Lee S.C. Technology forecasting and patent strategy of hydrogen energy and fuel cell technologies // International Journal of Hydrogen Energy. 36. 2011. P. 6957-6969. DOI: 10.1016/j.ijhydene.2011.03.063.
6. Cunningham S.W., Porter A.L., Newman N.C. Special issue on tech mining. Technological Forecasting and Social Change, 73 (8). 2006. P. 915-922. DOI: 10.1016/j.techfore.2006.06.004.
7. Efimenko I.V., Khoroshevsky V.F. Peaks, Slopes, Canyons and Plateaus: Identifying Technology Trends Throughout the Life Cycle // International Journal of Innovation and Technology Management. Vol. 14. No. 2. #1740012, 2017. P 28. DOI: 10.1142/S0219877017400120.
8. Porter A.L., Cunningham S.W. Tech Mining: Exploiting New Technologies for Competitive Advantage. New York. John Wiley. 2005. 384 p.
9. Porter A.L., Zhang Y. Tech mining of science & technology information resources for future-oriented technology analyses // In Glenn, J.C. and Gordon, T.J. (eds.) Futures research methodology version 3.1. Режим доступа: https://www.thevantagepoint.com/data/documents/FRM 3.0 chapter 20-Tech Mining-3-7-15yz.pdf (дата обращения: 11.11.2017).
10. Wang X., Qiu P., Zhu D., Mitkova L., Lei M., Porter A.L. Identification of technology development trends based on subject-action-object analysis: The case of dye-sensitized solar cells // Technological Forecasting & Social Change. 98. 2015. P. 24-46. DOI: 10.1016/j.techfore.2015.05.014.
11. Wimalasuriya D.C., Dou D. Ontology-based information extraction: an introduction and a survey of current approaches. Journal of Information Science. 36(3). 2012. P. 306-323. DOI: 10.1177/0165551509360123.
12. Zhang Y., Porter A., Zhengyuin H. et al. "Term clumping" for technical intelligence: A case study on dye-sensitized solar cells // Technological Forecasting & Social Change. Vol. 85. 2014. P. 26-39. DOI: 10.1016/j.techfore.2013.12.019.
Возможности анализа текстовой информации научно-технологической направленности UDK 519.711.2
FEASIBILITY OF TECH MINING FOR FORECASTING INNOVATION PATHWAYS IN ENERGY SECTOR
Alexey V. Mikheev
Dr. of Eng. Melentiev Energy Systems Institute Siberian Branch of the Russian Academy of Sciences 130, Lermontov Str., 664033, Irkutsk, Russia, e-mail: [email protected]
Abstract. The paper reviews the state-of-art of tech mining approach, which is a special form of large data analytics applied to rich information text resources on science and technology. Main advantages of tech mining approach for national energy technology development forecasting system are considered. A conception of information integration between tech mining results and system analysis data is proposed to generate a set of innovation indicators for energy technology development assessment and forecasting.
Keywords: large data analysis, tech mining, technology forecasting, innovation development, system analysis, innovation indicators, energy technology.
References
1. Koncepcija sistemy monitoringa i prognozirovanija nauchno-tehnicheskogo progressa v jenergetike [Conception of the technology monitroring and forecasting system in energy sector] / Afansieva M.V., Bereznoi A.B., Dementiev V.V. et al.; Nat. research. univ. «High school of economy ». M.: HSE, 2015. 16 p. (in Russian).
2. Obosnovanie razvitija jelektrojenergeticheskih sistem: Metodologija, modeli, metody, ih ispol'zovanie [Feasibility of energy power systems development: Methodology, models, methods and its use] / Eds. Voropai N.I. Novosibirsk: "Nauka", 2015. 448 p. (in Russian).
3. Prognoz nauchno-tehnologicheskogo razvitija otraslej toplivno-jenergeticheskogo kompleksa Rossii na period do 2035 goda [Technology forecasting of Russian fuel and energy sector up to 2035]. Ministry of Energy. Russia. 2016. Available at: http://minenergo.gov.ru/system/download-pdf/6365/66647 (accessed 11.11.2017) (in Russian)
4. Anticipating Future Innovation Pathways through Large Data Analysis / Eds. T.U. Daim, D. Chiavetta, A.L. Porter, O. Saritas. In book series "Innovation, Technology, and Knowledge Management". Springer. 2016. 360 p. DOI: 10.1007/978-3-319-39056-7.
5. Chen Y.H., Chen C.Y., Lee S.C. Technology forecasting and patent strategy of hydrogen energy and fuel cell technologies // International Journal of Hydrogen Energy. 36. 2011. P. 6957-6969. DOI: 10.1016/j.ijhydene.2011.03.063.
6. Cunningham S.W., Porter A.L., Newman N.C. Special issue on tech mining. Technological Forecasting and Social Change, 73 (8). 2006. P. 915-922. DOI: 10.1016/j.techfore.2006.06.004.
7. Efimenko I.V., Khoroshevsky V.F. Peaks, Slopes, Canyons and Plateaus: Identifying Technology Trends Throughout the Life Cycle // International Journal of Innovation and Technology Management. Vol. 14. No. 2. #174GG12, 2G17. P 2S. DOI: 1G.1142/SG219S77G174GG12G.
S. Porter A.L., Cunningham S.W. Tech Mining: Exploiting New Technologies for Competitive Advantage. New York. John Wiley. 2GG5. 3S4 p.
9. Porter A.L., Zhang Y. Tech mining of science & technology information resources for future-oriented technology analyses // In Glenn, J.C. and Gordon, T.J. (eds.) Futures research methodology version 3.1. Режим доступа:
https://www.thevantagepoint.com/data/documents/FRM 3.G chapter 2G-Tech Mining-3-7-15yz.pdf (accessed: 11.11.2G17).
1G. Wang X., Qiu P., Zhu D., Mitkova L., Lei M., Porter A.L. Identification of technology development trends based on subject-action-object analysis: The case of dye-sensitized solar cells // Technological Forecasting & Social Change. 9S. 2G15. P. 24-46. DOI: 1G.1G16/j.techfore.2G15.G5.G14.
11. Wimalasuriya D.C., Dou D. Ontology-based information extraction: an introduction and a survey of current approaches. Journal of Information Science. 36(3). 2G12. P. 3G6-323. DOI: 1G.1177/G1655515G936G123.
12. Zhang Y., Porter A., Zhengyuin H. et al. "Term clumping" for technical intelligence: A case study on dye-sensitized solar cells // Technological Forecasting & Social Change. Vol. S5. 2G14. P. 26-39. DOI: 1G.1G16/j.techfore.2G13.12.G19.
