CC BY
53
Вестник Томского государственного университета Философия. Социология. Политология. 2019. № 52
УДК 316.4; 004.891
DOI: 10.17223/1998863Х/52/14
А.Ю. Карпова, А.О. Савельев, А.Д. Вильнин, Д.В. Чайковский
НОВЫЕ ТЕХНОЛОГИИ ВЫЯВЛЕНИЯ УЛЬТРАПРАВЫХ ЭКСТРЕМИСТСКИХ СООБЩЕСТВ В СОЦИАЛЬНЫХ МЕДИА1
Статья посвящена аналитическому обзору подходов по созданию инструментов для выявления ультрарадикальных сообществ в социальных медиа. Обозначены ключевые характеристики и идеологические платформы ультраправых экстремистских сообществ, угрозы и риски онлайн-радикализации. Обозначены проблемы по созданию исследовательских инструментов и сервисов. Разработана классификация и описаны сильные и слабые стороны подходов по созданию инструментов для выявления экстремистских сообществ. Предлагается описание авторского метода календарно-корреляционного анализа.
Ключевые слова: онлайн радикализация, ненависть и экстремизм, терроризм, аналитика социальных медиа, прогнозирование событий, Web Mining.
Противостояние угрозе начинается с того, чтобы называть ее тем, чем она является. Проблема формулировки является серьезной, когда дело доходит до отслеживания наиболее опасных группировок. Академические ученые пытаются придумать стандартные термины для ультраправых и ультралевых, а также формулировки для различных разновидностей тех и других. Исследователи отмечают, что более мягкие формулировки не применяются, когда речь идет об исламистских радикалах. Сбор данных, обучение сотрудников правоохранительных органов, общественное понимание - все это страдает без общепринятого словаря. Относиться к этим угрозам серьезно - значит определять термины. Предиктором экстремизма, терроризма является радикализация. Данный процесс в самом общем виде можно обозначить как переход от ненасильственных форм выражения мнений к насильственным действиям. Четко очерченных границ интерпретации этого понятия на настоящий момент не существует, поэтому данная тема остается дискуссионной в исследовательской среде. Радикалов следует рассматривать как приверженцев решительных действий, которые могут и не быть крайними. Экстремистов следует рассматривать как сторонников применения крайних средств для достижения своих целей, даже при наличии возможности достижения цели законным путем, без применения насилия. Террористы же - это те, кто применяет идеологически мотивированное насилие [1]. Мерилом правовой оценки действий каждой из категорий будет оценка уровня опасности применяемых ими методов для общества и государства [2-4]. Приставка «ультра» означает, что радикалы принимают идею о том, что насилие необходимо для продвижения идеологической цели. Они оправдывают, пропагандируют эту идею, выражают готовность перейти к насильственным действиям, а также берут на себя моральное обязательство защиты тех групп,
1 Исследование выполнено при финансовой поддержке РФФИ и АНО ЭИСИ в рамках научного проекта № 19-011-31535.
которые продвигают эту идею. Такой вид радикальных действий относится к категории насильственного экстремизма, который рассматривается как «поощрение, оправдание или поддержка совершения насильственного действия для достижения политической цели, идеологических, религиозных, социальных или экономических целей» [5].
Радикальные убеждения не являются преступными, но участие в экстремистских, террористических организациях является преступлением. Проявление вражды и ненависти в отношении какой-либо группы лиц, объединенной по признаку пола, расы, религии, идеологии, принадлежности к какой-либо социальной, профессиональной, возрастной, гендерной или иной группе, характерно для ультраправых радикальных сообществ. Перегретая риторика, эскалация языка вражды, продвижение теорий заговора, демонизация и рассуждения о превосходстве и неполноценности тех или иных групп, оправдание общепризнанных исторических фактов преступлений поощряют насилие. Основополагающая идея ультраправых сообществ - убеждение в превосходстве одних индивидов и групп и неполноценности других.
Ключевые характеристики и идеологические платформы ультраправых:
- антииммиграционные и антиинтеграционные позиции;
- принцип сегрегации: разделение групп людей, считающихся «высшими», и групп, считающихся «низшими»;
- политика угнетения, геноцид, ксенофобия, авторитаризм;
- полный отказ от концепции социального равенства;
- разветвленный характер, «специализация» на проблемных, актуальных темах общественных недовольств;
- консолидация на международном уровне: укрепление идеологических, финансовых, организационных и транснациональных связей;
- создание и продвижение блогов и дискуссионных форумов для распространения своих убеждений и идеологии, содействие радикализации, рекру-тингу, создание виртуальных онлайн-сообществ, разделяющих общую повестку ультраправых, на таких площадках, как Twitter, YouTube, Tumblr, Imgur, Flickr, социальные сети (например, Gab), имиджбордов и анонимных веб-форумов (например, 4chan, 8chan), подстрекающих к насилию;
- создание и продвижение альтернативной медиасистемы, получившей название «Альтернативная сеть влияния» (AIN), стимулируя онлайн-радика-лизцию. Создатели контента в AIN претендуют на предоставление альтернативного источника информации для новостей и политических комментариев, используя методы маркетинга, но вместо продажи продукта или услуг они продают политическую идеологию. В целом AIN распространяет ультраправый идеологический контент, используя такие способы воздействия, как идеологические рекомендации, политический самобрендинг, поисковая оптимизация и стратегическая полемика, целенаправленно создавая общую контркультурную идентичность [6. P. 10];
- национализм, расизм, нацизм, неофашизм, экофашизм, неонацизм, антикоммунизм, супремасизм и др.
Ультраправые движения (alt-right), сообщества в зарубежной исследовательской практике чаще всего рассматривают как политический блок, который стремится объединить деятельность нескольких различных экстремистских движений или идеологий. Несмотря на то, что alt-right распространился
в международном масштабе, его центр влияния находится в Соединенных Штатах и берет свое начало от Ричарда Спенсера, известного белого националиста, который и придумал термин alt-right. Ряд различных типов ультраправых отождествляют себя, идентифицируют или мимикрируют под белых националистов. Региональные движения могут иметь совершенно разные приоритеты и острые проблемы, но в то же время разделяют основные идеи белых националистов. Угроза со стороны ультраправых сообществ ежегодно возрастает во всем мире, примеры тому теракты в Италии (Болонья, 1980), Великобритании (Лондон, 1999), Германии (Кельн, 2004), России (Москва, 2006), Норвегии (Осло, 2011), Новой Зеландии (Крайстчерч, 2019) и особенно в США [7], где число инцидентов, совершенных доморощенными сторонниками белого превосходства, в 2018 г. увеличилось на 182%: в 2017 г. совершен 421 инцидент, в 2018 г. - 1 187 инцидентов [8]. Угрозу ультраправого терроризма отмечает в своем докладе за 2018 г. Международный центр по изучению радикализации (ICSR) «ISIS поглотил львиную долю правоприменительных и разведывательных ресурсов, в результате чего сильно ослаблено внимание к ультраправым экстремистским группам, которые развиваются и мобилизуются по всей Европе» [9].
Рост инцидентов совершенных «одинокими акторами», или, как их еще называют, «одинокими волками», напрямую связан с процессом использования массовых коммуникаций для побуждения случайных субъектов к проведению насильственных или террористических актов, которые являются статистически предсказуемыми, но индивидуально непредсказуемыми. Феномен такого рода насильственных инцидентов, совершенных одиночками, получил качественное определение «стохастический терроризм» [10]. На практике «эффект подражания» для «одиноких волков», совершающих массовые убийства и другие насильственные действия, используется таким образом, чтобы преднамеренно разжигать насилие одинокого актора. «Самые восприимчивые люди легко раскачиваются от ненавистной риторики и часто ищут легитимность и чувство уверенности в своих насильственных действиях» [11]. Рассматривать такого рода насилие как изолированные инциденты, совершенные «одинокими волками» или растревоженными людьми, вместо того чтобы признать их проявлением идеологии геноцида, основанной на расизме и белом национализме, - это потеря возможности сосредоточить внимание общественности и правоохранительных органов на проблеме [12].
Политическая радикализация, ведущая к насилию, не происходит в вакууме. Современное информационные технологии дают возможность потребителям информации выбирать совершенно разные идеологические модели, транслировать заданные ими версии «реальности». Группы ультраправого толка применяют различные таргетинговые технологии для продвижения своих целей и осуществляют радикализацию онлайн. Отслеживание наличия такого контента в социальных сетях в реальном времени важно для аналитиков безопасности.
Термин «аналитика в социальных сетях» привлек большое внимание исследователей лет десять назад и интерпретируется как «междисциплинарная исследовательская область, которая направлена на объединение, расширение и адаптацию методов анализа данных социальных медиа» [13]. Анализ содержания социальных медиа, так же как и методы сбора, анализа контента, эволюционировал в последние несколько лет. Исследования деструктивного
контента, при помощи которого продвигаются радикальные идеи, являются примером области, в которой социальные медиаданные оказывают огромное влияние. Собранные данные социальных сетей могут быть проанализированы с целью изучения «цифровых следов», поведения пользователей социальных сетей, мотивации и технологий продвижения ультрарадикального контента, составления профилей радикалов или групп, в которых формируются экстремистские взгляды. Для исследований такого рода необходим инструментарий, создаваемый на основе моделей и методов искусственного интеллекта. Значимость программных алгоритмов, позволяющих с высокой скоростью диагностировать различного рода угрозы в информационном пространстве, имеет не просто актуальное значение, а является насущной необходимостью в целях сохранения общества. Создание новых технологий для выявления экстремистских сообществ в социальных медиа возможно в междисциплинарных исследовательских командах, состоящих из социологов, специалистов computer science, лингвистов, психологов, криминологов. В качестве основы для создания программных алгоритмов используются следующие функциональные признаки:
- «фоновые характеристики» - социометрические характеристики, условия, среда, события жизненного цикла, социальные связи, которые могут способствовать формированию насильственных убеждений, и другие характеристики; в целом - маркеры и уровень радикализации;
- «фоновая аналитика» - мобилизационные факторы для совершения экстремистских, террористических действий; повод для недовольства; выявление различных типов влияния, подражания и вдохновения; субтипы преступников, как уже осужденных, так и тех, кто под подозрением.
Всесторонний анализ современного состояния исследовательского поля, изучение пробелов в исследованиях, направлений и методов позволил выделить ряд ключевых проблем (табл. 1).
Таблица 1. Ключевые проблемы по созданию исследовательских инструментов для выявления экстремистских сообществ в социальных медиа
Проблема Описание
Дефицит данных Узко очерченный предметный спектр создает исследовательские лакуны, где имеется дефицит данных, либо они слабы или их нет совсем, строгие методы отсутствуют, а результаты не связаны с теоретическими рамками
Ограниченная выборка данных Ограничения по выборке (к примеру, только на религиозных радикалах), ограничения в переменных (т.е., изучение только тех людей, которые успешно совершили насильственные действия), чтобы объяснить процесс радикализации
Применение индуктивных методов Большинство исследований основано на индуктивных методах, которые используются для выявления коррелятов преступного поведения, создания универсального профиля террориста и предположения, что существует единый путь радикализации. Но реальность нарастающего количества неспрогнозированных инцидентов террористической направленности и всплеска насильственного экстремизма, по сути, опровергает эффективность данного подхода
Качество формализации переменных Проблема качества формализации связана с кодированием исходных данных, составлением словаря триггерных слов под решаемые задачи и точностью установления корреляционной зависимости между значениями различных параметров
Автоматическая идентификация онлайн-радикализации Динамическая природа социальных сетей, пользовательские соглашения создают ограничения по сбору, идентификация такого контента, поиску пользователей и прогнозированию событий. Поиск по ключевым словам в большинстве случаев нецелесообразен
Окончание табл. 1
Проблема Описание
Объем контента Затрудняет аналитикам обнаружение такого контента вручную, поиск общих закономерностей и тенденций в данных, что ведет к неточностям / ошибкам в создании формализованных переменных
Визуализация данных и взаимодействий между пользователями, загружающими деструктивный контент Ручная проверка и маркирование на основе ключевых слов увеличивает количество ложных срабатываний и снижает эффективность предлагаемых подходов
«Мусорный» контент Пользовательские данные содержат «шум», т.е. неправильную грамматику, слова с ошибками, интернет-сленг, аббревиатуры, текст, содержащий многоязычный текст, неформальные языковые выражения и т.п. Наличие некачественных метаданных увеличивает сложности и технические проблемы для сбора данных и лингвистического анализа
Фильтрация контента Мимикрирование названий для видео / аудио под благонадежные. Название и описание видео / аудио не содержат никаких подозрительных терминов, но в то же время видео имеет контент, связанный с продвижением насилия, разжиганием ненависти
Распознавание «именованных объектов» Трудность разпознования «именованных объектов» при отсутствии проработанных словарей по конкретным ультрарадикальным сообществам, включающих даты, события, ники, прозвища, культовых персонажей, книги, фильмы и др.
Пространственно-временное прогнозирование Пространственно-временная информация, присутствующая в контенте, чрезвычайно важна для оперативного прогнозирования событий. Вычислительная точность результатов напрямую зависит от качества формализации метаданных
Подходы, связанные с созданием инструментов для выявления экстремистских сообществ в социальных медиа, мы классифицировали по следующим категориям: автономный, аддитивный, гибридный, многоуровневый (табл. 2). Ключевые характеристики технологий: информация из открытых источников, применение группы методов Web-mining (извлечение и уточнение знаний о людях, сообществах, структурах, системах, организациях, событиях, их взаимосвязях и взаимном влиянии), автоматический и полуавтоматический сбор данных, модели машинного обучения (ML), установленные правила кодирования, формализованные переменные «фоновых характеристик» и «фоновой аналитики».
Таблица 2. Классификация подходов по созданию инструментов для выявления экстремистских
сообществ в социальных медиа
Категория Описание Слабые стороны Сильные стороны
Автономный Лингвистические маркеры для автоматизированного анализа текста: словари триггерных слов, имеющих отношение к пропаганде / продвижению / оправданию насильственных действий; речевые клише для выявления социальных, психологических и личностных процессов Сложность однозначной интерпретации триггерных слов, вероятностный набор языковых маркеров для определения речевых шаблонов, «информационный шум» При постоянном совершенствовании вычислительной лингвистики данный подход может использоваться для идентификации авторов анонимных блогов, сообщений и в качестве подтверждающих доказательств радикализации
Аддитивный Поведенческие траектории, ролевые модели, контрафактное отклонение, психологические и биологические механизмы насильственного экстремизма и психологии предубеждения Дефицит данных, либо они слабы или их нет совсем, строгие методы отсутствуют, зачастую невозможно подобрать критерии для измерений, опора на нейронаучные исследования Основательная теоретическая база, успешные попытки типологизации и классификации моделей поведения, траекторий; доказанная эффективность использования метода case study для формализации качественных данных
Окончание табл. 2
Категория Описание Слабые стороны Сильные стороны
Гибридный Типология социальных связей, поведенческие, эмоциональные, операциональные и личностные механизмы радикализации, выявление внешних факторов влияния в онлайн-радикализации Вероятностный характер выявленных причинно-следственных механизмов вследствие пробелов в исходных данных; требуется многократное эмпирическое тестирование Возможность определять важные структурные и реляционные изменения и тенденции внутри и между сетями, образованными ультрарадикальными сообществами, в перспективе прогнозировать терминальную стадию планирования инцидента, выбор цели, соответственно, скоординировать усилия по его пресечению
Многоуровневый Комплексная оценка рисков роста насильственного экстремизма; корреляция переменных микро-, макро- и мезоуровня; построение структуры сетевых кластеров для атрибутов (организационная иерархия, сетевая сплоченность, идеологическая платформа и др.; прогнозирование поведенческих траекторий; геопространственные, временные компоненты и др.) Возможность реализации только при наличии постоянно обновляемых баз данных; ограничения доступа к полным данным для академических исследователей Перспектива преодолеть проблему «объяснительной пропасти» в части радикализации: почему только некоторые люди из числа тех, кто находится в одинаковых условиях, переходят к насильственным действиям. Социально-топологическая картина структурной, реляционной, социальной индивидуальной и групповой динамики мобилизации на насилие; проследить изменения масштаба и характера социальных и вспомогательных связей радикалов; понимание уязвимостей индивидуальных акторов, структуры и моделей отношений, которые они формируют в онлайн-среде
Реализуемые на сегодняшний момент подходы зачастую обладают низкой селективностью и для решения узкоспециализированных задач не дают эффективных результатов. Альтернативой является способ обнаружения целевой группы по характерному изменению активности группы в «окрестности» ключевых событий. Например, активность сторонников ультраправых движений в социальной сети ВКонтакте значительно увеличивается в окрестности «29.04», которая означает «день рождения 29.04.1999» - день, знаковый для такого рода сообществ, поскольку связан с конкретным персонажем, неонацистом, совершившим инцидент в Хабаровске. В качестве базовых характеристик мы рассматриваем меру активности пользователей, т.е. совокупность таких показателей, как количество постов на стене сообщества, комментариев, лайков, просмотров и других показателей в единицу времени. Таким образом, по изменению активности группы в «окрестности» ключевых событий можно судить о принадлежности этой группы к тому или иному ультрарадикальному сообществу. Очевидно, что для надежной идентификации группы необходимо зафиксировать подъем, высокий уровень и спад активности в группе, причем в разные даты (представляющие календарь ключевых событий). В настоящее время коллектив авторов проводит тестирование инструмента, разработанного на основе предлагаемого метода, обозначенного как календарно-корреляционный анализ (ККА).
В завершение подчеркнем, что создание эффективных технологий выявления экстремистских сообществ в социальных медиа для сдерживания онлайн-радикализации, прогнозирования инцидентов возможно. Основа -адаптация прошлых статических типологий, корреляция с использованием методов социальной науки, предназначенных для решения сложных процессов (социальной топологии) и компьютерных наук. Это задача с вызовом, но растущие мощности вычислительной техники и изобретательность ученых в области computer science делают эту задачу решаемой.
Литература
1. Карпова А.Ю. Механизмы индивидуальной радикализации в процессе самоорганизации молодежи // Молодежь и молодежная политика: новые смыслы и практики : сб. / под ред. С.В. Рязанцева, Т.К. Ростовской. М., 2019. С. 69-81. (Демография. Социология. Экономика).
2. О противодействии экстремистской деятельности : Федеральный закон Российской Федерации от 25.07.2002 № 114-ФЗ (ред. от 23.11.2015). URL: http://www.consultant.ru/docu-ment/cons_doc_LAW_37867/ (дата обращения: 15.07.2019).
3. О противодействии терроризму : Федеральный закон от 6 марта 2006 г. № 35-Ф3 (ред. от 31. 12.2014). URL: http://nac.gov.ru/zakonodatelstvo/zakony/federalnyy-zakon-ot-6-marta-2006-g-n-35-fz-o.html (дата обращения: 15.07.2019)
4. Комплексный план противодействия идеологии терроризма в Российской Федерации на 2019-2023 годы. URL: blob:http://nac.gov.ru/ead1093d-f2e1-46c5-b059-0b9cc15645a9 (дата обращения: 15.07.2019).
5. Borum R. Radicalization into Violent Extremism I: A Review of Social Science Theories // Journal of Strategic Security. 2011. Vol. 4, № 4. Р. 7-36.
6. Lewis R. Alternative ENDNOTES Influence: Broadcasting the Reactionary Right on YouTube : Report // Data & Society's Media Manipulation research initiative. 2018. URL: https://datasociety.net/research/media-manipulation (accessed: 16.07.2019).
7. Fact Sheet. START. Far Right Fatal Ideological Violence Against Religious Targets 19902018. URL: https://www.start.umd.edu/pubs/START_ECDB_FarRightFatalIdeologicalViolenceAga-instReligiousTargets1990-2018_0ct2018.pdf (accessed: 16.07.2019).
8. Антидиффамационная лига. White Supremacists Step Up Off-Campus Propaganda Efforts in 2018. URL: https://www.adl.org/resources/reports/white-supremacists-step-up-off-campus-propaganda-efforts-in-2018 (accessed: 11.06.2019).
9. ICSR. The Cost of Crying Victory: Policy Implications of the Islamic State's Territorial Collapse. 2018. URL: https://icsr.info/wp-content/uploads/2019/01/ICSR-ICCT-Feature_The-Cost-of-Crying-Victory-Policy-Implications-of-the-Islamic-State%E2%80%99s-Territorial-Collapse.pdf (accessed: 19.06.2019).
10. Stochastic Terrorism: Part 1, triggering the shooters. 2011. Jan. 26. URL: http://stochas-ticterrorism.blogspot.com/ (accessed: 25.06.2019).
11. BruiniusH., O'Carroll E. 'Lone wolves' and the rhetoric that fuels them // The Christian Science Monitor. 2018. Oct. 29. URL: https://www.csmonitor.com/USA/Society/2018/1029/Lone-wolves-and-the-rhetoric-that-fuels-them (accessed: 18.06.2019).
12. Beutel A. The New Zealand Terrorist's Manifesto: a look at some of the key narratives, beliefs and tropes. 2019. Apr. 30. URL: https://www.start.umd.edu/news/new-zealand-terrorists-manifesto-look-some-key-narratives-beliefs-and-tropes (accessed: 16.07.2019).
13. Zeng D., Chen H., Lusch R. Social Media Analytics and Intelligence // Intelligent Systems, IEEE. 2011. Vol. 25 (6). P. 13-16. DOI: 10.1109/MIS.2010.151.
Anna Yu. Karpova, Tomsk Polytechnic University (Tomsk, Russian Federation).
E-mail: [email protected]
Aleksey O. Savelev, Tomsk Polytechnic University (Tomsk, Russian Federation).
E-mail: [email protected]
Aleksandr D. Vilnin, Tomsk Polytechnic University (Tomsk, Russian Federation).
E-mail: [email protected]
Denis V. Chaykovskiy, Tomsk Polytechnic University (Tomsk, Russian Federation).
E-mail: [email protected]
Vestnik Tomskogo gosudarstvennogo universiteta. Filosofiya. Sotsiologiya. Politologiya - Tomsk State University Journal of Philosophy, Sociology and Political Science. 2019. 52. pp. 138-146.
DOI: 10.17223/1998863X/52/14
NEW TECHNOLOGIES TO IDENTIFY ALT-RIGHT EXTREMIST COMMUNITIES IN SOCIAL MEDIA
Keywords: online radicalization; hate and extremism; terrorism; social media analytics; web mining; event forecasting.
The article makes an analytical review of approaches to creating ultra-radical communities identifying tools for social media. The formulation of the radicalization process, as a transition from nonviolent forms of expression to violent actions, is indicated. Radicals should be seen as committed to decisive action, which may not be extreme. Extremists should be considered as supporters of using extreme means to achieve their goals, even if it is possible to achieve the goal legally, without using violence. Terrorists are those who use ideologically motivated violence. The measure of the legal assessment of the actions of each category is the assessment of the level of danger of the methods they use for society and the state. The prefix "ultra" means that the radicals accept the idea that violence is necessary to advance an ideological goal. They justify, propagandize this idea, express readiness to proceed to violent actions, and also undertake a moral obligation in defense of groups that promote this idea. Key characteristics and ideological platforms of ultra-right extremist communities, threats and risks of online radicalization are described. The fundamental idea of ultra-right communities is the belief in the superiority of some individuals and groups and the inferiority of others. It emphasizes the importance of software algorithms that allow diagnosing various kinds of threats in the information space with high speed. Creation of new technologies for the identification of extremist communities in social media is possible in interdisciplinary research teams consisting of sociologists, computer science specialists, linguists, psychologists, criminologists. The "background characteristics" and "background analytics" are used as the basis for creating software algorithms. Problems with the creation of research tools and services are indicated, the authors' classification and description of the strengths and weaknesses of approaches to create tools for identifying extremist communities are given. The following categories are indicated: autonomous, additive, hybrid, multi-level. A description of the authors' method of calendar-correlation analysis is proposed for detecting the target ultra-radical group on the characteristic change in the group's activity in the "neighborhood" of key events. Currently, the team of authors is testing the prototype.
References
1. Karpova, A.Yu. (2019) Mekhanizmy individual'noy radikalizatsii v protsesse samoorganizatsii molodezhi [The mechanisms of individual radicalization in the process of youth self-organization]. In: Ryazantsev, S.V. & Rostovskaya, T.K. (eds) Molodezh' i molodezhnayapolitika: novye smysly iprak-tiki [Youth and youth policy: new meanings and practices]. Moscow: RAS. pp. 69-81.
2. The Russian Federation. (2002) Federal Law No. 114-FZ of the Russian Federation of July 25, 2002, (as amended on November 23, 2015) "On counteraction to extremism". [Online] Available from: http://www.consultant.ru/document/cons_doc_LAW_37867/ (Accessed: 15th July 2019).
3. The Russian Federation. (2006) Federal Law N 35-FZ of March 6, 2006 (as amended on December 31, 2014) "On Countering Terrorism". [Online] Available from: http://nac.gov.ru/zakonodatelstvo/zakony/federalnyy-zakon-ot-6-marta-2006-g-n-35-fz-o.html (Accessed: 15th July 2019). (In Russian).
4. The Russian Federation. (n.d.) Kompleksnyy planprotivodeystviya ideologii terrorizma vRos-siyskoy Federatsii na 2019-2023 gody [A comprehensive plan to counter the ideology of terrorism in the Russian Federation for 2019-2023]. [Online] Available from: blob:http://nac.gov.ru/ead1093d-f2e1-46c5-b059-0b9cc15645a9 (Accessed: 15th July 2019).
5. Borum, R. (2011) Radicalization into Violent Extremism I: A Review of Social Science Theories. Journal of Strategic Security. 4(4). pp. 7-36. DOI: 10.5038/1944-0472.4.4.1
6. Lewis, R. (n.d.) Alternative ENDNOTES Influence: Broadcasting the Reactionary Right on YouTube. Report. Data & Society's Media Manipulation research initiative. Published September 18, 2018. [Online] Available from: https://datasociety.net/research/media-manipulation (Accessed: 16th July 2019).
7. National Consortium of the Study of Terrorism and Responses to Terrorism. (n.d.) Fact Sheet. START. Far Right Fatal Ideological Violence Against Religious Targets 1990-2018. [Online] Availa-
146
A.M. KapnoBa, AO. CaBenbeB, A.ff. BuMbnun, ff.B. ^aûKOBCKUû
ble from: https://www.start.umd.edu/pubs/START_ECDB_FarRightFatalIdeologicalViolenceAga-instReligiousTargets1990-2018_Oct2018.pdf (Accessed: 16th July 2019).
8. Anti-Defamation League. (2018) White Supremacists Step Up Off-Campus Propaganda Efforts in 2018. [Online] Available from: https://www.adl.org/resources/reports/white-supremacists-step-up-off-campus-propaganda-efforts-in-2018 (Accessed: 11th June 2019).
9. ICSR. (2018) The Cost of Crying Victory: Policy Implications of the Islamic State's Territorial Collapse. [Online] Available from: https://icsr.info/wp-content/uploads/2019/01/ICSR-ICCT-Feature_The-Cost-of-Crying-Victory-Policy-Implications-of-the-Islamic-State%E2%80%99s-Territorial-Collapse.pdf (Accessed: 19th June 2019).
10. Stochastic Terrorism. (2011) Stochastic Terrorism: Part 1, triggering the shooters. January 26, 2011. [Online] Available from: http://stochasticterrorism.blogspot.com/ (Accessed: 25th June 2019).
11. Bruinius, H. & O'Carroll, E. (2018) 'Lone wolves' and the rhetoric that fuels them. The Christian Science Monitor. 29th October. [Online] Available from: https://www.csmo-nitor.com/USA/Society/2018/1029/Lone-wolves-and-the-rhetoric-that-fuels-them (Accessed: 18th June 2019).
12. Beutel, A. (2019) The New Zealand Terrorist's Manifesto: A look at some of the key narratives, beliefs and tropes. 30th April. [Online] Available from: https://www.start.umd.edu/news/new-zealand-terrorists-manifesto-look-some-key-narratives-beliefs-and-tropes (Accessed: 16th July 2019).
13. Zeng, D., Chen, H. & Lusch, R. (2011) Social Media Analytics and Intelligence. Intelligent Systems, IEEE. 25(6). pp.13-16. DOI: 10.1109/MIS.2010.151
