CC BY
4I Journal of Siberian Federal University. Humanities & Social Sciences 2023 16(12): 2208-2215
EDN: GYEVEV УДК 316.752.4
How Social Networking Algorithms
and Psychosocial Vulnerabilities Shape Participants
in Radical Online Communities
Vladimir I. Krasikov*3 and Vyacheslav I. Kudashovb
aAll-Russian State University of Justice (RLA of the Ministry of Justice of Russia) Moscow, Russian Federation bSiberian Federal University Krasnoyarsk, Russian Federation
Received 06.04.2023, received in revised form 04.09.2023, accepted 25.10.2023
Abstract. In this article, we compare three factors influencing the emergence of online communities with extreme views in social networks, namely the features of social platform algorithms, personal and social vulnerabilities of people as a motive for changing identity, and online mechanisms of radicalization. We use the methodology of discourse analysis of research interdisciplinary literature on this topic. In the first section, we consider the relationship between the emerging "attention economy" of the Internet environment and the new generation of algorithms that organize it, and their consequences for the current state of affairs in social networks and cyberspace in general. In the second section, we turn to the definition of the features of compensatory online mechanisms in reducing the main vulnerabilities of a personal and social-group nature, which are often responsible for the formation of radical types of identities. Finally, in the third section, we explore how and why social media specific attention-ranking algorithms are more effective in generating radical online identities than in traditional offline radicalization practices.
Keywords: social networking algorithms, "echo chambers", personal and group vulnerabilities as a motive for radicalization, radical group online identities.
Research area: social network analysis.
The study was supported by the Russian Science Foundation grant No. 23-28-00080, https://rscf.ru/project/23-28-00080/
Citation: Krasikov V. I., Kudashov V. I. How social networking algorithms and psychosocial vulnerabilities shape participants in radical online communities. In: J. Sib. Fed. Univ. Humanit. soc. sci, 2023, 16(12), 2208-2215. EDN: GYEVEV
© Siberian Federal University. All rights reserved
* Corresponding author E-mail address: KrasVladIv@gmail.com
ORCID: 0000-0002-8850-5550 (Krasikov); 0000-0001-7009-8179 (Kudashov)
- 2208 -
Как алгоритмы социальных сетей и социально-психологические уязвимости формируют участников радикальных онлайн-сообществ
В. И. Красиков3, В. И. Кудашов6
аВсероссийский государственный университет юстиции (РПА Минюста России) Российская Федерация, Москва бСибирский федеральный университет Российская Федерация, Красноярск
Аннотация. В статье сопоставляются три фактора, влияющие на появление онлайн-сообществ с крайними взглядами в социальных сетях: особенности алгоритмов социальных платформ, личностные и социальные уязвимости людей как мотив смены идентичности и онлайн-механизмы радикализации. Используется методология дискурс-анализа исследовательской междисциплинарной литературы по данной тематике. В первом разделе рассматривается взаимосвязь сформировавшейся «экономики внимания» интернет-среды с организующими ее новым поколением алгоритмов и их следствий для современного положения дел в социальных сетях и киберпространстве в целом. Во втором разделе определяются особенности компенсаторных онлайн-механизмов в редуцировании основных уязвимостей личностного и социально-группового характера, которые часто ответственны за формирование идентичностей радикальных типов. В третьем разделе объясняется большая эффективность в создании радикальных онлайн-идентичностей алгоритмов специфического ранжирования внимания в социальных сетях - в сравнении с традиционными офлайн-практиками радикализации.
Ключевые слова: алгоритмы социальных сетей, «эхо-камеры», личностные и групповые уязвимости как мотив радикализации, радикальные групповые онлайн-идентично сти.
Научная специальность: 5.7.7 - социальная и политическая философия.
Исследование выполнено за счет гранта Российского научного фонда № 23-28-00080, https://rscf.ru/project/23-28-00080/
Цитирование: Красиков В. И., Кудашов В.И Как алгоритмы социальных сетей и социально-психологические уязвимости формируют участников радикальных онлайн-сообществ. Журн. Сиб. федер. ун-та. Гуманитарные науки, 2023, 16(12), 2208-2215. EDN: GYEVEV
Введение
Знакомьтесь, вот он и пришел, новый мир, о котором недавно никто и не помышлял. Это мир сетевой, к которому мы все интенсивнее приобщаемся вот уже третье десятилетие, но который лишь недавно стал проявлять себя довольно необычными, неожиданными для нас способами.
Имеются в виду социальные сети, впервые обозначившие свое присутствие вот уже почти два десятилетия назад, принесшие с собой невиданные ранее возможности коммуникации и вместе с тем существенно поменявшие ее формат, к чему оказались многие неготовыми. Причем «вторжение» социальных сетей имело не только последствия
- 2209 -
для семейного или же дружеского общения. Они приобрели и серьезное социальное, если не геополитическое значение, создавая новую социальную действительность Twitter-революций, фейковой эпохи «постправды», прокси-онлайн-войн. И под всем этим, как подводная часть айсберга, определяющая эти видимые всем феномены, - повсеместное распространение множества почти невидимых в силу своей многоформности, пластичности и бесконтрольности, радикальных онлайн-сообществ всевозможных спектров и оттенков. Они неуловимы, ускользают от бдительного ока регламентирующих и контролирующих государственных, корпоративных и межнациональных интернет-дозоров - именно в силу своих новых организационных форм, порождающих небывалые возможности, которые все в большей мере вызывают и живой научный интерес, и серьезные общественные озабоченности.
Целью настоящей статьи и является поиск ответов на вопрос, вынесенный в ее заголовок. Реализация поставленной цели предопределила и выбор соответствующей методологии - дискурс-анализ исследовательской междисциплинарной литературы по тематике с задачами: концептуализации организационной специфики социальных сетей (алгоритмов) и последствий ее резонанса с некоторыми нашими социально-психологическими особенностями.
В первом разделе мы рассматриваем взаимосвязь сформировавшейся «экономики внимания» интернет-среды с организующими ее новым поколением алгоритмов и их следствий для современного положения дел в социальных сетях и киберпро-странстве в целом.
Во втором разделе мы обращаемся к определению особенностей компенсаторных онлайн-механизмов в редуцировании основных человеческих уязвимостей: личностного и социально-группового характера, которые часто ответственны за формирование идентичностей радикальных типов.
Наконец, в третьем разделе мы выявляем: как и почему алгоритмы специфического ранжирования внимания
в социальных сетях оказываются более эффективными в создании радикальных онлайн-идентичностей, нежели в традиционных офлайн-практиках радикализации.
Экономика внимания и власть алгоритмов
Наше внимание превратилось в товар. Когда мы используем якобы «бесплатный» онлайн-продукт, на деле мы сами становимся таким же «продуктом». Чем больше времени мы проводим за просмотром видео на YouTube или просматривая нашу ленту новостей в Telegram, тем больше доходов от рекламы получают платформы. Это превращение внимания в товар является имманентным двигателем онлайн-поведения, которое имеет несколько противоречивых последствий. С положительной стороны тот факт, что время пребывания в сети стало валютой, приносящей доход, позволило создать широкий спектр, казалось бы, бесплатных услуг. YouTube бесплатный для пользования и предоставляет большие возможности для развлечений. Google предлагает набор инструментов помимо своей поисковой системы, от электронной почты до создания документов, которые также бесплатно поддерживают множество наших потребностей. ВКонтакте или Одноклассники позволяют нам оставаться на связи с друзьями и семьей, а с помощью WhatsApp мы можем бесплатно совершать видеозвонки с людьми по всему миру. Набор бесплатных онлайн-сервисов впечатляет по любым меркам.
Но эти бесплатные сервисы на самом деле не бесплатны - напротив, они сопряжены со значительными затратами, которые часто не связаны с взаимодействиями, в которые мы намеренно вовлечены. Одно из следствий преобразования времени онлайн-пребывания в денежные средства заключается в том, что платформы будут стараться предоставлять нам увлекательную информацию, чтобы дольше удерживать наше внимание. Уже это таит в себе потенциально большие проблемы, поскольку известно, что люди живо реагируют на новости преимущественно негативного
- 2210 -
характера (Soroka, 2019). Они также предпочитают делиться сообщениями с высокой эмоциональной тональностью, так сказать, «с перчиком». Поэтому неудивительно, что фейковые новости и дезинформация столь распространены в Интернете.
Большая часть информации, которую мы потребляем в Интернете, формируется и обрабатывается алгоритмами.
Последние - это системы фильтрации информации, в которых заданы определенные идеологические наклонности и выбор дизайна, и они выделяют одни функции, игнорируя другие. Например, когда алгоритмы формируют экологию медиа на компьютере пользователя, они питаются огромным количеством сигналов, охватывающих предыдущую его онлайн-историю, пользователей, с которыми недавно связывались, и его социальные жесты: лайки, дизлайки, комментарии. Однако не менее важно накопление так называемого слежения за данными: отслеживаемая информация, которая относится к привычкам пользователей в автономном режиме. Эта информация может включать в себя местоположение, покупки и телефонные звонки.
Итак, алгоритмы - это адаптируемые системы, которые развиваются вместе со своими пользователями. Их механизмы фильтрации привязаны к данным каждого участника, нацелены на такое структурирование медиасодержания, чтобы как можно дольше удержать его на платформе.
В самом деле, одна из «врожденных» целей социальных сетей - это вовлечение. YouTube по умолчанию продолжает воспроизводить видео, которые предположительно нам нравятся, основываясь на выводах своей системы рекомендаций. Ленты новостей контролируются сложными алгоритмами, а результаты поиска Google настраиваются в соответствии с многочисленными параметрами.
Платформы социальных сетей зависят от этих алгоритмических систем и они действуют как поляризующие инструменты, которые способствуют ознакомлению с определенным мировоззренческим содержанием и нацелены на установление связей с близ-
кими по мировоззрению сетями единомышленников. Другими словами, эксперты утверждают, что новые медиа создают однородные «цифровые эхо-камеры» (Sunstein, 2018). Люди обитают в этих «камерах», где в онлайн-группе циркулируют только самоподдерживающиеся и самоусиливающиеся солидарные мнения за счет блокировки альтернативных представлений.
Правда, компании, курирующие социальные сети, под воздействием критики, в том числе и ученых-специалистов по онлайн-коммуникациям, стремятся сдерживать создание и расширение экстремистских «эхо-камер» - за счет частого удаления учетных записей агрессивных пользователей и их соответствующего контента. Тем не менее мультиплатформенный характер Интернета гарантирует их выживание и продолжение существования. Более того, усилия по борьбе с радикальными онлайн-сообществами с ненавистнической риторикой могут остаться вообще незамеченными - именно из-за механизмов, управляющих алгоритмами, которые «вшиты» в сами основы коммуникации в социальных сетях.
Во-первых, если дополнительная информация, приходящая к пользователю, основана на часто потребляемом им контенте, то сообщения, мировоззренчески расходящиеся с установившейся матрицей данного контента, могут вообще никогда не попасть в его медиапространство. Во-вторых, даже если сюжетные линии о борьбе с враждебностью и ненавистью и смогут дойти до своей целевой аудитории, они могут произвести иной, нежели ожидаемый, эффект. Дело в том, что их смысловая среда радикальна и основана на иных ценностях, нежели «нормальная», средняя, прогнозируемая. К примеру, кампания правительства США «Вновь подумай и откажись», развернутая в 2013 году в масс-медиа, в том числе и в социальных сетях, направленная на то, чтобы отговорить сторонников ИГИЛ (запрещенной в РФ) от миграции в Сирию, оказалась бесполезной и даже вредной. Среди прочего, халифат в ней представлялся как место ужасов и разрушения. Сторонни-
- 2211 -
кам джихада советовали не покупать «обратный билет», так как там они нашли бы только лишения и смерть. Короче говоря, правительственная пропаганда напирала на страх смерти как первопричину остаться дома. Однако у салафитской молодежи в ходу тогда были иные нарративы: блаженства мученичества и суицидального пафоса героической жертвенности. В итоге эффект был обратный (Valentini, 2020).
Итак, социальные сети, родившиеся буквально на наших глазах, в первом десятилетии текущего века, - Facebook (02.2004), YouTube (02.2005), Twitter (03.2006), Одноклассники (03.2006), ВКонтакте (10.2006), WeChat (01.2011) и др. - были связаны в своем развитии с изменениями, производными от новой архитектуры Сети, Web 2.0. Они стали возможными в условиях появления иной системы формирования контента, где его создают сами же рядовые пользователи, образуя тем самым свои интернет-группы и свою онлайн-жизнь в них. И эти новые алгоритмы, о которых мы говорили выше, существенно «добавили свободы» на периферийном уровне, в отличие от прежней «централизации» в создания контента в Web 1.0. И это имело далеко идущие последствия для новых - весьма отличных от соответствующей прежней практики группогенезов офлайн - процессов самоорганизации онлайн-сообществ в соцсетях, создав основания для легкости их создания, доступности, анонимности и радикальности (Кашпур, 2021).
Существует много групп: профессиональных, по интересам, хобби, религиям, мировоззрениям и пр. Большинство из них перемещаются в последние десятилетия, полностью или же частично, из офлайна в онлайн. Тоже происходит и с группами, где их участников связывают крайние взгляды. Они находили ранее друг друга в реальном физическом социальном пространстве, сейчас же, особенно в отмеченных новых со-циотехнологических обстоятельствах, это стало происходить в киберпространстве.
Радикализация, или растущая готовность к участию в фундаментальных социально-политических изменениях,
противоречащих существующему порядку или представляющих прямую угрозу для него (Сакаев, 2021), имела место быть и ранее, присутствует она и в современных онлайн-реалиях. Мы уже выяснили, как специфические алгоритмы нового поколения организации Интернета породили феномен социальных онлайн-сетей. А повлияла ли, и каким образом, данная ситуация на механизмы радикализации, существовавшие, конечно, и раньше. Это и будет предметом нашего дальнейшего разбирательства.
Известно, что сознание и поведение некоторых людей подвержено радикализации по ряду причин. Однако все же представители социальных наук, занимающихся этим вопросом, имеют согласие в том, что наиболее частыми причинами подобного можно считать разные формы уязвимости отдельных людей и групп, защитной реакцией против которых и являются крайние взгляды и действия (M0lmen, 2021). Мы полагаем, что новые социотехнологические реалии приводят к ускорению и интенсификации этих процессов. Речь идет о следующем.
Более быстрая и интенсивная компенсация уязвимости в радикальных онлайн-сетях
Поле потенциальных уязвимостей, с которыми сталкивается человек в своей социальной жизни, необъятно. Однако и здесь мы можем условно их категориро-вать на два типа, постоянно помня о том, что они вполне могут переходить друг в друга - это уязвимости, имеющие личностные истоки, и те, которые более связаны с окружающими обстоятельствами (Trip, 2019).
К первым отнесем проблемы психического здоровья: тревогу, депрессию, снижение удовлетворенности жизнью. Они, как правило, являются следствиями атак, которым подвергается наше «я»:
- когда не удовлетворяются потребности в самоутверждении собственной позитивной значимости и ее поддержание самосознанием;
- 2212 -
- когда наши самооценки обесцениваются другими, вследствие явных или же мнимых разочарований со стороны членов групп, которые являются для нас референтными;
- когда возникают угрозы контроля над нашими действиями со стороны нашего физического и социального окружения (Putnam, 2000).
В любом случае уверенность в себе, в своем будущем резко падает. Один из простых, но действенных способов решить эту ключевую для нас проблему неуверенности в себе - это новая альтернативная групповая идентификация. Когда неуверенность в себе становится хронической, всеобъемлющей и острой, людей сильно привлекают именно радикальные группы, потому что они предписывают однозначные и ясные модели: как следует вести себя, думать и чувствовать в любых ситуациях. Подобные группы представляют собой источник эффективных защитных механизмов, таких как крайний идеализм, не рассуждающая убежденность и высокая самооценка «избранности» с сопутствующими гордостью, высокомерием и нарциссизмом. Они могут казаться со стороны какой-то дичью, но вряд ли стоит сомневаться в их действенности в создании мощных редутов новой психической обороны от сильных угроз нашим «я».
Вторая группа уязвимостей имеет своим источником окружающие обстоятельства: разного рода переживаемые несправедливости, дискриминацию как следствие социальной разобщенности, социально-экономические кризисы и вызываемые ими потерю работы, статуса, карьерных и жизненных перспектив. Это может отстранить людей от привычной социальной активности и общения, подтолкнув их к поиску новых источников смысла и сделав их более открытыми для восприятия непривычных идей. Подобные проблемы могут со временем вызвать разочарование в государстве, политической системе, общую неудовлетворенность существующим положением вещей. Чтобы компенсировать это, человек обращается к социальным сетям в поиске альтернативных мировоззрений, активно
выражая в онлайне свое разочарование. В итоге создается ситуация когнитивного диссонанса, так же как и в личностном случае, приводящая к неуверенности в ранее принятых убеждениях, обостряющая нашу восприимчивость к альтернативным точкам зрения - и тут его ждут с распростертыми объятиями целые группы новых потенциальных единомышленников, готовых выражать сочувствие, понимание и солидарность (ВагЬега, 2020).
Таким образом, наше основное предположение здесь состоит в том, что легко доступный онлайн-контент социальных сетей предоставляет людям, уязвленным собственными проблемами и окружающими обстоятельствами, альтернативные мировоззрения и активный поддерживающий контекст. Потому они и будут стремиться к присоединению к такой социальной среде, где практически нет порога для включения в сообщество, кроме как принятие новых взглядов. Эта простота доступа для незащищенных и уязвимых людей выгодно отличает онлайн-компенсацию от более трудоемкого и опасного опыта долгих усилий поиска и проблематичного присоединения к радикальным группам в жизни реальной (офлайне). Остановимся на этом подробнее.
«Онлайн-эхо»
как ускоритель формирования радикальных интернет-сообществ
Доступ к Интернету значительно снижает затраты на коммуникацию и поиск информации, причем независимо от географического расположения. Более того, в реальном социуме невелика вероятность встретить единомышленников, если ваши взгляды экзотичны. Интернет решает эту проблему быстро и эффективно. Не будучи связанными традиционным социальным общением, длительным и воочию, люди тем не менее получают возможность объединяться и организовываться на основе каких-угодно общих интересов, какими бы редкими они ни были. Эти контакты и сближение могут проходить как прямо, через открытые форумы или блоги, так и в более приватных условиях, таких как закрытые
- 2213 -
группы на Facebook (запрещен в РФ) или же в ВКонтакте.
Наиболее непредсказуемым воздействием социальных сетей следует признать не просто пассивное восприятие людьми радикальной риторики, а то, что они предоставляют доступ к сообществу единомышленников, где можно обмениваться крайними мыслями и идеями, подкреплять их поддержкой других. Социальные сети, выстроенные на алгоритмах специфического ранжирования внимания, также обеспечивают изоляцию от всепроникающего внешнего постороннего влияния, особенно когда речь идет об соперничающих идеях и конкурирующих рациональностях.
Онлайн-пространства создают возможности для анклавного обсуждения, когда разговоры идут только между единомышленниками и не могут быть критическими или же негативными. Это происходит потому, что:
- во-первых, мировоззренческая однородность группы заведомо ограничивает размер пула возможных сомнений и критических аргументов;
- во-вторых, люди здесь с большей вероятностью будут высказывать мнения, популярные внутри группы, чтобы получить одобрение как можно большего числа ее членов ^аггеП, 2015).
Кроме того, сознание полной или частичной анонимности, защиты от офлайн-разоблачения, обеспечиваемое социальными сетями, снижает порог отторжения крайних идей и возможных радикальных акций. В свою очередь, это может подтолкнуть людей к поведению и высказываниям, на которые в очном порядке они вряд ли решились бы (Lewandowsky, 2022).
Воздействие «эхо-камер» может также иметь поляризующий эффект, когда люди начинают идентифицировать себя со «своей группой» или сообществом, в то время как «чужая группа» становится дегумани-зированной и воспринимается как враг. Таким образом, эхо воздействует на процесс радикализации, легитимизируя не только насильственный дискурс, но и снижая индивидуальные запреты на использование
насилия для достижения политических изменений. Человек усваивает радикальные идеи и выстраивает новую социальную идентичность в онлайн-сообществе (Cardenal, 2019).
Конечно, существуют схожие механизмы влияния экстремистских групп на человека и в реальном живом социальном общении. Однако онлайн-механизмы радикализации действуют более быстро, с малыми издержками и на больших расстояниях. К тому же, в сравнении с радикальными группами в социальном подполье или полуподполье, человек на онлайн-форумах и в социальных сетях чувствует себя в большей безопасности благодаря анонимности или полуанонимности. Сетевой аспект «эхо-камер» имеет растормаживающий эффект, заставляя людей чувствовать себя менее сдержанными и выражать себя более открыто. Таким образом, «онлайн-эхо» влияет на более широкую пользовательскую базу, чем его реальные социофи-зические аналоги.
Заключение
Итак, пришла пора подвести итоги и ответить на исходное вопрошание заголовка этой работы.
Алгоритмы специфического ранжирования внимания в социальных сетях являются органичным следствием «экономики внимания», которая господствует не только в интернет-среде, но и в глобальной мировой системе. Платформы социальных сетей зависят от них, и они действуют как инструменты, которые сегрегируют мировоззренческое содержание контента пользователей, заключая их в своего рода «пузыри» или «камеры». Последние создают эффекты: изоляции от конкурирующих взглядов, поляризации мировоззрения; самоподдержания, усиления радикализма и нетерпимости; ослабления, снятия обычных механизмов контроля и торможения.
Социально-психологические уязвимости, как отдельных людей, так и групп, формируют участников радикальных именно онлайн-сообществ более быстро, с малыми издержками, на больших рассто-
- 2214 -
яниях и на более широкой пользовательской базе - в сравнении с аналогичными офлайн-процессами - как раз благодаря эффектам онлайн-камер.
Наконец, как мы полагаем, новизна изысканий, предпринятых в данной статье, состоит в том, что мы сопоставили три фактора, вместе ранее не рассматривавшихся: особенности алгоритмов социальных сетей, личностные и социальные уязвимости людей как мотив смены иден-
Список литературы / References
тичности и онлайн-механизмы радикализации. Ускорение радикализации в онлайн-сообществах, в сравнении с офлайн, объяснено сильным положительным резонансом между потребностями защиты от классических личностных и социальных уязвимостей и серией эффектов (изоляции, поляризации, растормаживания, самоподдержания и усиления) в функционировании алгоритмов специфического ранжирования внимания в социальных сетях.
Barbera P. (2020). Social Media, Echo Chambers, and Political Polarization. In: Persily, N. &Tucker J. (Eds.). Social Media and Democracy: The State of the Field, Prospects for Reform (SSRC Anxieties of Democracy). Cambridge: Cambridge University Press. 34-55. DOI: https://doi.org/10.1017/9781108890960 Cardenal A. S. et al. Digital Technologies and Selective Exposure: How Choice and Filter Bubbles Shape News Media Exposure. In: The International Journal of Press/Politics, 2019, 24, 465-486. Available at: https://doi.org/10.1177/1940161219862988
Farrell J. Politics: Echo Chambers and False Certainty. In: Nature Climate Change, 2015, 5. 719-720. Available at: https://www.nature.com/articles/nclimate2732
Kashpur V. V. i dr. Reprezentaciya radikal'nyh soobshchestv v rossijskih social'nyh media: specifika kontenta i indeks aktivnosti [Representation of Radical Communities in Russian Social Media: Content Specificity and Activity Index]. In: Vestnik Tomskogo gosudarstvennogo universiteta [Bulletin of Tomsk State University], 2021, 467, 133-143.
Lewandowsky S., Pomerantsev P. Technology and democracy: A paradox wrapped in a contradiction inside an irony. In: Memory, Mind & Media, 2022, 1, E 5. Available at: https://www.cambridge.org/ core/journals/memory-mind-and-media/article/technology-and-democracy-a-paradox-wrapped-in-a-contradiction-inside-an-irony/F904B 05B 7ECCC 05A844E 8E 4EA7F86DC 0
M0lmen G. N., Ravndal J. A. Mechanisms of online radicalisation: how the internet affects the radical-isation of extreme-right lone actor terrorists. In: Behavioral Sciences of Terrorism and Political Aggression, 2021. DOI: 10.1080/19434472.2021.1993302.
Putnam R. D. Bowling Alone: America's Declining Social Capital. New York: Simon & Schuster, 200). 541 p.
Sakaev V. T. Ponyatie radikalizacii: obzor nauchnyh podhodov v sovremennoj zarubezhnoj literature [The concept of radicalization: a review of scientific approaches in modern foreign literature]. In: Antinomii [Antinomies], 2021, 21(2), 45-72.
Soroka S., Fournier P., Nir L. Cross-national evidence of a negativity bias in psychophysiological reactions to news. In: Proceedings of the National Academy of Sciences, 2019, 116 (38), 18888-18892. https://doi.org/10.1073/pnas.1908369116
Sunstein C. R #Republic: Divided Democracy in the Age of Social Media. Princeton: Princeton University Press, 2018. 328 p.
Trip S., Bora C. H., Marian M., Halmajan A. and Drugas M. I. Psychological Mechanisms Involved in Radicalization and Extremism. A Rational Emotive Behavioral Conceptualization. In: Front. Psychol., 2019, 10 (437). Available at: https://www.frontiersin.org/articles/10.3389/fpsyg.2019.00437/full
Valentini D., Lorusso A. M. and Stephan A. Onlife Extremism: Dynamic Integration of Digital and Physical Spaces in Radicalization. In: Front. Psychol, 2020, 11(524), https://doi.org/10.3389/fpsyg.2020.00524
