CC BY
138
ГОСУДАРСТВО И ОБЩЕСТВО
DOI: 10.14515/monitoring.2019.5.02 Правильная ссылка на статью:
Василькова В. В., Легостаева Н. И., Радушевский В. Б. Социальные боты как инструмент развития гражданского участия //Мониторингобщественного мнения:Экономические и социальные перемены. 2019. № 5. С. 19—42. https://doi.org/10.14515/monitoring.2019.5.02. For citation:
Vasilkova V. V., Legostaeva N. I., Radushevsky V. B. (2019) Social bots as a tool to develop civic engagement. Monitoring of Public Opinion-.Economic and Social Changes. No. 5. P. 19—42. https://doi.org/10.14515/monitoring.2019.5.02.
О 0
В. В. Василькова, Н. И. Легостаева, В. Б. Радушевский СОЦИАЛЬНЫЕ БОТЫ как ИНСТРУМЕНТ РАЗВИТИЯ
гражданского УЧАСТИЯ
СОЦИАЛЬНЫЕ БОТЫ КАК ИНСТРУМЕНТ РАЗВИТИЯ ГРАЖДАНСКОГО УЧАСТИЯ
ВАСИЛЬКОВА Валерия Валентиновна —доктор философских наук, профессор кафедры социологии культуры и коммуникации факультета социологии, Санкт-Петербургский государственный университет, Санкт-Петербург, Россия E-MAIL: [email protected] https://orcid.org/0000-0001-9335-8738
SOCIAL BOTS AS A TOOL TO DEVELOP CIVIC ENGAGEMENT
Valeria V. VASILKOVA1 — Dr. Sci. (Philos.), Professor, Department of Sociology of Culture and Communication, Faculty of Sociology
E-MAIL: [email protected] https://orcid.org/0000-0001-9335-8738
1 St. Petersburg State University, St. Petersburg, Russia
ЛЕГОСТАЕВА Наталья Игоревна — кандидат социологических наук, научный сотрудник лаборатории изучения социально-экономических и политических процессов современного общества, Санкт-Петербургский государственный университет, Санкт-Петербург, Россия E-MAIL: [email protected] https://orcid.org/0000-0002-8726-8784
РАДУШЕВСКИЙ Владимир Борисович — программист Ресурсного центра «Центр социологических и Интернет-исследований», Санкт-Петербургский государственный университет, Санкт-Петербург, Россия E-MAIL: [email protected] https://orcid.org/0000-0003-0302-1221
Аннотация. Статья посвящена социальным ботам—автоматизированным программным комплексам, позволяющим распространять информацию с большой скоростью и эффективностью, в том числе за счет имитации поведения реальных пользователей социальных сетей. В силу резонансных процессов использования социальных ботов, в первую очередь в политической коммуникации (электоральные практики, астротурфинг, манипуляция общественным мнением и др.), в фокус внимания исследователей попадают «злонамеренные» боты. Авторы статьи придерживаются более широкого подхода к социальным ботам, рассматривая их как нейтральный инструмент информационного воздействия, который может использоваться различными социальными агентами как в целях распространения манипулятивной дезинформации, так и в целях конструктивной пропаганды интересов различных групп гражданского общества, создавая «эффект мегафона». В этом
Natalia I. LEGOSTAEVA1 — Cand. Sci. (Soc.), Research Fellow, Laboratory for research of social-economic and political processes of modern society E-MAIL: [email protected] https://orcid.org/0000-0002-8726-8784
Vladimir B. RADUSHEVSKY1 — Programmer, Center for Sociological and Internet Research
E-MAIL: [email protected] https://orcid.org/0000-0003-0302-1221
1 St. Petersburg State University, St. Petersburg, Russia
Abstract. The article is devoted to social bots - automated programs which disseminate information at high speed and effectively, for example, by imitating the behavior of real social network users. Due to resonant use of social bots, primarily for political purposes (electoral practices, astroturfing, manipulation of public opinion, etc.), the study is focused on malicious bots. The authors pursue a wider approach towards social bots and consider them as a neutral tool for information influence which can be used by different social agents in order to disseminate both manipulative misleading information and constructive promotion of the interests of various civil society groups producing a 'megaphone effect'. Thus, the authors propose to use social bots as an instrument for realization of different forms of civic engagement. The study is focused on the following problems: (1) to analyze the sources describing the practices of use of social bots to expand civic engagement in different countries; and 2) to reveal
плане предлагается рассматривать использование социальных ботов как инструмента для реализации различных форм гражданского участия. В связи с этим в статье решаются следующие задачи: 1) анализ источников, описывающих практики использования социальных ботов для расширения гражданского участия в разных странах; 2) выявление и описание социальных ботов в социальной сети «ВКонтакте», используемых гражданскими активистами. Для этого применяется: 1) комплексная авторская методика, объединяющая метод частотного анализа размещаемых сообщений, профайлинг бот-аккаунтов, включающий статичный и поведенческий анализ данных профиля пользователя, визуализацию графов соотношения «текст — автор», анализ структурной организации бот-сети (ботнета), а также анализ контента публикаций; 2) дополнительная методика по всплескам сетевой публикационной активности. В результате были выявлены три ботнета («Обманутые дольщики ЛенСпецСтроя», «Новости жителей Кудрово», «Новости жителей Мурино»), анализ контента которых позволяет говорить о реализации ими различных форм гражданского участия: представление интересов групп гражданского общества, призыв к совместным активным действиям в онлайн- и офлайн-пространстве, социальный контроль за деятельностью чиновников, обеспечение прозрачности информации, поступающей от государственных и бизнес-структур.
and describe social bots in Vkontakte social networking website used by civic activists. The authors apply: (1) complex author's method combining the method of frequency analysis of the published messages, bot account profiling including static-based and behavior-based analysis of user profile, visualization of 'content-user' correlation graphs, analysis of structural organization of bot network and content analysis of the publications; (2) additional tool to boost publication activity. As a result, three botnets are identified ("Deceived shareholders of LenSpetsStroy Limited company", "Updates for Kudrovo residents", "Updates for Murino residents"). The content analysis point to different forms of civic engagement: representing the interests of civil society groups; call for joint online and offline actions; social control over the performance of state officials; ensuring transparency of information provided by government bodies and businesses.
ключевые слова: социальные боты, ботнеты, функции ботов, гражданский активизм, социальная сеть «ВКонтакте»
Keywords: social bots, botnets, bot functions, civic activism, Vkontakte social network
Благодарность. Исследование выполнено в рамках гранта РФФИ 18-011-00988 «Структура бот-пространства онлайн социальных сетей: сетевой анализ". Исследования проведены с использованием оборудования ресурсного центра Научного парка СПбГУ «Центр социологических и Интернет-исследований».
Acknowledgments. The study is part of the RFBR (Russian Foundation for Basic Research) project No. 18-011-00988 "Structure of Social networks online bot space: network analysis". The equipment of the St Petersburg State University Research Park (Center for Sociological and Internet Research) was used to carry out the study.
Постановка проблемы
Среди новейших информационных технологий социальные боты являются одним из наиболее обсуждаемых и спорных феноменов. Несмотря на активный исследовательский интерес к функционированию социальных ботов, не существует единого мнения как по поводу определения социальных ботов, так и по поводу отношения к ним у представителей различных областей знания.
В самом общем плане под ботами (сокр. от «робот») 1 понимают автоматизированных агентов, функционирующих на онлайн-платформе [Franklin, Graesser, 1996].
Термин «социальные боты» появился, когда бот-технологии стали активно использоваться в онлайн социальных сетях, позволяя распространять информацию с большой скоростью и эффективностью, и с тех пор ведутся непрекращающиеся споры об устройстве, функционировании и целях использования таких ботов.
Наиболее продуктивным и эвристически перспективным мы считаем подход Р. Горвы и Д. Гильбо, которые разделяют узкое и широкое понимание социальных ботов [Gorwa, Guilbeault, 2018].
Первое (обычно пишется в одно слово «socialbot») обозначает автоматизированные программные комплексы, которые имитируют поведение реальных пользователей социальных сетей, то есть предполагают сфабрикованную идентификацию, могут контролировать аккаунт в определенной сети, выполнять такие действия, как отправка сообщений, запросов на подключение и др. [Boshmaf et al., 2011: 93; Boshmaf et al., 2013].
Данная трактовка социальных ботов сложилась в рамках компьютерных наук и связана с изучением механизмов компьютерной безопасности. Социальные боты рассматриваются как угроза информационной и компьютерной безопасности, и отношение к ним обусловлено необходимостью очищения информационного пространства социальных сетей от ложных аккаунтов и их манипулятивных воздействий (дискурс подобных исследований отличается резкостью и агрессивностью, «это истории атак и защиты, уязвимости и иммунитета... проникновения и вторжения» [Gehl, Bakardjieva, 2017: 5].
1 Существует предположение, что само слово «бот» появилось в IT-лексике как сленговое по отношению к программам и программным системам, работа которых напоминает самостоятельную. Использование слова «бот» маркирует различие между компьютерными программами (большинство из которых действует онлайн, то есть связаны с интернет-каналом) и привычной робототехникой.
Не случайно первая волна исследований в рамках данной технологически-центрированной парадигмы, связанной с кибербезопасностью, акцентировала внимание на разработке методик по обнаружению социальных ботов и борьбе с ними [Chu et al., 2010; Howard, Kollanyi, 2016; Bessi, Ferrara, 2016].
Мощный импульс исследованию злонамеренного характера социальных ботов дало выявление так называемых политических ботов — разновидности социальных ботов, используемых политическими акторами для «загрязнения» взаимодействия в социальных сетях (см. обзор [Василькова, Легостаева, 2019]).
Наиболее резонансным по своим последствиям является использование злонамеренных политических ботов в электоральных практиках различного уровня — в США [Metaxas, Mustafaraj, 2012; Ratkiewicz et al., 2011; Bessi, Ferrara, 2016; Howard et al., 2017], Японии [Schäfer, Evert, Heinrich, 2017], Венесуэле [Forelle et al., 2015], Бразилии [Arnaudo, 2017] и других странах. Кроме того, подобные технологии используются в повседневных политических практиках, таких как астротурфинг — продуцирование и поддержание искусственного общественного мнения путем «наводнения» информационного пространства сообщениями определенного содержания [Howard, 2010; Ratkiewicz et al., 2011], манипуляция общественным мнением с учетом воздействия иностранного влияния, борьба с оппозицией и уничтожение диссидентов [Gorwa, Guilbeault, 2018] и т. д.
Обобщая существующий массив работ, посвященных социальным ботам, немецкие исследователи С. Штиглиц, Ф. Брахтен, Б. Росс и А.-К. Юнг отмечают, что большинство из них относят политических ботов к злонамеренному типу с высоким уровнем имитации человеческого поведения, и именно на анализе этого типа ботов фокусируется основной интерес академического сообщества, что связано с агрессивным характером, высокой степенью распространения и слабой контролируемостью этих ботов со стороны общественности [Stieglitz et al., 2017].
Появление более широкой и гибкой трактовки социальных ботов (обычно пишется в два слова «social bot») связано с социально-центрированной версией, оно было инициировано социологами, проявившими интерес к разнообразным формам автоматизации в социальных сетях [Gorwa, Guilbeault, 2018: 8]. Социальный бот в данном контексте понимается как программа, которая автоматически создает контент и взаимодействует с другими пользователями, продвигая данный контент [Ferrara et al., 2016].
Такой подход позволяет более широко и диверсифицированно взглянуть на структурные, функциональные особенности социальных ботов, а главное — на цели их использования различными социальными субъектами.
Что касается структурного устройства социальных ботов в их широком понимании, то к ним относятся не только ложные аккаунты, но и действующие в социальных сетях чат-боты, предназначенные для диалогового общения с человеком с использованием естественного языка; спам-боты, интенсивно рассылающие сходную информацию; боты-сканеры, собирающие информацию по заранее определенному техническому заданию, если они фильтруют или агрегируют социально значимую информацию, а также с трудом поддающиеся идентификации гибридные, полуавтоматизированные боты-киборги [Chu et al., 2010].
Цели использования социальных ботов также рассматриваются более гибко и разнообразно. В фокусе внимания оказывается не столько их вредоносный манипулятивный характер, сколько сложные и многоплановые социальные отношения человека и социального бота, создающие многомерную социальную архитектуру и новую автоматизированную социальность [Gehl, Bakardjieva, 2017: 7—8], в которой представлены позиции самых разных социальных субъектов. В рамках нового подхода открывается возможность использования социальных ботов для преодоления социальных разрывов между противоборствующими социальными группами, возникает перспектива новой солидарности различных социальных групп в совместной работе по предотвращению распространения ложной информации, укреплению гражданской активности, усилению гражданского участия [Hwang, Pearce, Nanis, 2012]. Социальные боты в данном контексте рассматриваются как инструмент продвижения «сознательной демократии в социальных сетях» [Graham, Ackland, 2017].
Подобную точку зрения представляют в своей работе, посвященной новым формам пропаганды в социальных сетях, британские исследователи С. Вулли и Ф. Ховард. Они фиксируют изменение политического ландшафта под воздействием бурно развивающихся бот-технологий. Если еще несколько лет назад подобные технологии были на вооружении только тех политических акторов, которые обладали достаточным финансовым, властным, технологическим ресурсом для созданий подобных программ, то в последние годы такие технологии стали фактически общедоступными. В частности, открытые API и подходы laissez-faire к автоматизации на таких сайтах, как Twitter [Woolley, Howard, 2018: 191], позволяют обычным людям или группе лиц в социальной сети массово высказывать свое мнение, в том числе через запуск ботов.
При сохранении данного тренда социальные боты можно рассматривать не только и не столько как манипулятивную коммуникационную технологию для влиятельных политических сил, сколько как нейтральную площадку для формирования демократического рынка идей различных политических акторов. Социальные боты создают своего рода «эффект мегафона», который дает возможность усиливать «громкость» политических сообщений, независимо от того, кто и для чего их использует. Это позволяет изъять инструменты политической пропаганды из рук элиты и позволить гражданам распространять свои сообщения и повышать свой голос с помощью эффекта мегафона [Woolley, Howard, 2018: 186].
Таким образом, изучение форм влияния бот-технологий на процесс демократизации общества становится мейнстримом в исследованиях по данной проблематике, что позволяет социологам изучить многомерный процесс пересекающихся общественных, корпоративных, государственных интересов, а также полисубъектную представленность социальных позиций в информационном пространстве социальных сетей.
На наш взгляд, использование бот-технологий для постановки и решения социальных проблем может способствовать созданию системы «электронного гражданского общества» — системы негосударственных общественных связей, институтов и пользователей, действующих в виртуальном пространстве на принципах самоорганизации и самоуправления [Бронников, 2012: 80]. Технологически усиленные
голоса пользователей социальных сетей, фокусирующих внимание на тех социальных проблемах, которым уделяется недостаточное внимание со стороны властных структур, не только порождают общественные обсуждения и дискуссии и способствуют корректировке политических решений, но и задают через запросы различных групп населения основные приоритеты общественного развития [Седова, 2014: 49].
В данном контексте можно говорить об использовании социальных ботов как об инструменте 2 реализации различных форм гражданского участия. При этом мы исходим из традиционного понимания гражданского участия как более широкого (по сравнению с понятием гражданского активизма) термина, включающего как опосредованные формы участия (представленность солидарных интересов групп гражданского общества), так и непосредственные формы (активную деятельность, направленную на инициативные социальные изменения, давление на государственную власть) [Коновалов, 2010].
Однако несмотря на то, что изучение бот-технологий в качестве инструмента демократизации современного общества декларируется как наиболее актуальный исследовательский тренд, сами подобные практики, а главное — степень их эффективности в решении социальных проблем, остаются крайне малоизученными.
В связи с этим мы можем сформулировать задачи настоящей статьи: 1) проанализировать источники, в которых описан опыт использования социальных ботов для расширения гражданского участия в разных странах; 2) описать подобное функционирование российских социальных ботов, которые были обнаружены в результате применения авторской методики детектирования ботов в социальной сети «ВКонтакте».
Практики использования социальных ботов для гражданского участия: обзор источников
В современной англоязычной литературе практики использования ботов, стимулирующих гражданское участие, представлены лишь несколькими разрозненными кейсами, которые не систематизированы и не концептуализированы с позиций социологического анализа, т. е. с точки зрения их структуры, функций, создающих их социальных субъектов и степени их социального влияния.
В связи с этим в рамках первичного анализа постараемся выявить основные функции таких ботов и характер социальных проблем, к которым они привлекают внимание аудитории. При этом нас будут интересовать те кейсы, в которых не просто фиксируется наличие социальных ботов, но и дается их более-менее развернутое описание, позволяющее выявить основные направления их использования в контексте гражданского участия.
Наиболее известным и подробно описанным ботом, направленным на борьбу с коррупцией и осуществлением контроля за властными структурами, является созданный в Бразилии на платформе Twitter бот по имени Рози, отслеживающий расходы, производимые высокопоставленными сотрудниками конгресса [Arnaudo, 2017]. Записи Рози формируются из просьб депутатов о возмещении расходов
2 Данный термин достаточно часто употребляется по отношению к социальным ботам, что, на наш взгляд, вполне оправдано, поскольку под этим термином понимается алгоритмизированное целевое воздействие на объект для решения определенной задачи. Важной характеристикой такого воздействия является его свойство усиливать или совершенствовать способности или действия человека, что отражает само предназначение бот-технологий.
и автоматических проверок цен и счетов, из которых формулируются заявки на расследование, если есть подозрительные данные. У Рози есть учетная запись в Twitter 3, которая сообщает о ее деятельности, наряду с веб-сайтом проекта и страницей в Facebook 4, что способствует прозрачности его функционирования. Бот привлек внимание общественности к примерам использования депутатами государственных средств для личных нужд (на обслуживание автомобиля, посещение ресторанов и т. д.). Примечательно, что данный бот был создан как ответ на скандальное расследование Lava Jato (операция «Автомойка») по отмыванию денег и коррупции Бразильской нефтяной кампании Petrobras.
Другой социальной проблемой, которая была актуализирована при помощи ботов в Бразилии, стало сопротивление граждан пенсионной реформе, инициированной конгрессом, которая предусматривала не только повышение пенсионного возраста, но и сокращение льгот для целого ряда категорий граждан. Ответом на эти планы стали забастовки и протесты, в том числе в интернете, где граждане стали использовать для этого социальные боты. Бот @ktrem10 является сложным ботом, который в своих публикациях сочетает ретвиты, цитируемые твиты, уникальный контент и хештеги. Хештег #MafiaGolpista означает «переворот мафии», а все учетные записи—это организации СМИ, которые следуют за хештегом «пенсионная система». 2 мая 2017 г. бот сделал уникальную запись о том, что «Федеральный совет бразильской ассоциации адвокатов официально выступает против реформы пенсионной системы». Запись сопровождалась хештегами, связанными с пенсионной реформой и основными организациями СМИ, при этом данная запись больше не тиражировалась. Таким образом, данный бот относится к типу киборгов, поскольку использует как автоматически сгенерированный, так и созданный человеком контент.
В информационном пространстве Канады заметное влияние имеет бот @ gccaedits [Ford, Puschmann, Dubois, 2016], который пишет в Twitter всякий раз, когда осуществляется процедура анонимного редактирования Википедии с IP-адресов, связанных с правительственными структурами Канады. Тем самым осуществляется своего рода информационный контроль со стороны граждан за изменением важного контента. Создатели бота вдохновлялись аналогичным опытом, существующим в США и Великобритании. Как отмечают исследователи, изучающие динамику функционирования этого бота с 2014 по 2017 г., по состоянию на 31 мая 2017 г. он сделал 8879 твитов и насчитывал 8145 подписчиков. Создатель бота Ник Руст объяснил, что бот предназначен для использования всеми заинтересованными лицами, включая журналистов, которые могут найти важные изменения в Википедии и обсудить их на публичном форуме.
Также в Канаде зафиксировано инновационное использование бота для решения проблемы онлайн-эксплуатации детей [Woolley, Howard, 2018: 73—74]. Канадский центр защиты детей — некоммерческая организация, занимающаяся вопросами сексуальной эксплуатации детей,— в 2017 г. запустила проект «Арахнид», который, по сути, представляет собой работу автоматизированного бота-сканера, выявляющего порнографические изображения детей на публичных
3 URL: https://twitter.com/RosieDaSerenata (accessed: 10.10.2019).
4 URL: https://www.facebook.com/operacaoSerenataDeAmor/ (accessed: 10.10.2019).
и скрытых сайтах. Автоматически связанные сканеры используют базу данных хэшированных изображений для идентификации других изображений. После пометки изображение криптографически хэшируется с использованием семи различных функций, в том числе PhotoDNA от Microsoft, что позволяет обнаруживать вероятные изображения детской эксплуатации. Положительная идентификация заставляет бота автоматически подавать уведомление о снятии, если содержимое соответствует известному изображению. Если изображение подозрительно, бот помечает его для просмотра аналитиками.
В 2016 г. тайваньский инженер Джонсон Лян разработал бот в социальной сети LINE для борьбы с фейковыми новостями. В начале 2017 г. Тайваньский коллектив гражданских технологий gOv.tw ("gov zero") решил предоставить дополнительное финансирование проекту в силу его перспективности. Другая команда разработчиков, финансируемая gOv.tw, разработала LINE-бот с названием «Ты что, шутишь?!» или «На самом деле?!». После того, как пользователь добавлял бота в друзья, он мог отправлять ему подозрительные ссылки на потенциально поддельные новостные статьи, после чего бот сообщал, является ли статья ложной, и предоставлял соответствующие факты по данной проблеме. По мнению исследователей, данный вид ботов, сочетая в себе социальные и автоматизированные методы работы, очень перспективен 5.
Мексиканские исследователи описали использование социальных ботов для поддержки прав человека [Velâzquez, Yazdani, Suârez-Serrato, 2017]. Их создание было связано с инцидентом, связанным с налетом на ранчо в Танхуато (штат Мичоакан) представителей мексиканских вооруженных сил в рамках борьбы с наркотиками. Национальная комиссия по правам человека (CNDH) 18 августа 2016 г. опубликовала отчет, в котором было указано, что в ходе этого мероприятия по меньшей мере 22 гражданских лица были произвольно казнены, при этом жертвы подвергались пыткам. Отчет CNDH был доступен в интернете, и Комиссия использовала свой аккаунт в Twitter для продвижения доступа к нему. В последующие дни возрос интерес к этой теме в мексиканском Twitter, что было связано с использованием хештега #Tanhuato. Авторы статьи, используя потоковый API Twitter, собрали более 20 тысяч твитов, относящихся к периоду между 19 и 21 августа 2016 г. Эти твиты были обработаны, а параметры учетных записей проклассифицированы алгоритмом BotOrNot. В наборе данных было обнаружено значительное число социальных ботов, использующих хештег #Tanhuato (из 9730 уникальных аккаунтов 1803 с высокой степенью вероятности можно было идентифицировать как боты). При этом официальные структуры эту деятельность ботов оценивают как деструктивную, но с точки зрения поддержки прав человека и свободы слова она имеет конструктивное значение.
Еще одним перспективным для развития гражданского участия направлением использования социальных ботов можно считать волонтерскую деятельность, опыт которой описан в статье С. Сэвидж, Ф. Монрой-Эрнандес и Т. Холлерер [Savage et al., 2016]. Авторы связывают бот-технологии с новым типом гражданских СМИ и описывают работу ботов на платформе Botivist, которые распространяли твиты
5 Hwang T., Woolley S. (2016) How Politicians Should and Shouldn't Use Twitter Bots. Slate. URL: https://slate.com/ technology/2016/03/how-politicians-should-use-twitter-bots.html (accessed: 28.09.2019).
на испанском языке, призывающие к консолидации усилий в решении социальных проблем в Латинской Америке. Отмечается, что ботам удалось привлечь 175 волонтеров, которые сделали 424твита и 813 ретвитов. Боты платформы не скрывают, что они боты, и каждый бот-аккаунт насчитывает около 50 последователей. При этом бот-аккаунты используют для активизации волонтеров различные коммуникативные стратегии—«прямую стратегию» (призыв к действию для решения социальной проблемы), «стратегию солидарности» (отклик и соучастие), «стратегию усиления» (демонстрация преимуществ активного участия), «стратегию потери» (при отказе от активного участия), каждая из которых имеет свой положительный эффект.
Неожиданный подход к использованию ботов в кризисных ситуациях представляют австралийские исследователи Л. Хофедиц, К. Энис, Д. Бункер, Ф. Брахтен и С. Штиглиц [Hofeditz et al., 2019]. Они обобщают опыт конструктивного использования социальных ботов в ситуациях различных бедствий (землетрясения в Японии, теракта в Манчестере в 2017 г.) и описывают функционирование обнаруженных ботов, связанных с чрезвычайной ситуацией лесных пожаров в штате Виктория на юго-востоке Австралии (148 ботов). Несмотря на то, что деятельность выявленных ботов была малозначительна и ограничивалась в основном информированием населения (к тому же часть ботов представляла разнообразный по тематике контент, включая политический), все же признается значимость данной технологии для осмысления кризисной ситуации гражданами в процессе обмена информацией и мнениями (см. об этом: [Brachten et al., 2018]). Опрос экспертов показал, что они весьма позитивно оценивают возможность социальных ботов для каждого этапа управления в чрезвычайных ситуациях (предотвращение, готовность, реагирование, восстановление).
Первичный анализ рассмотренных ботов в социальных сетях различных стран, на наш взгляд, позволяет говорить о том, что они помогают реализации различных форм гражданского участия, как непосредственных, так и опосредованных — контроля за деятельностью правительственных структур (противодействие коррупции, протест против пенсионной реформы), отстаивание социальных интересов граждан (права человека, контроль за информационным пространством), реализация различных форм социальной солидарности (волонтерская деятельность, действия в кризисных ситуациях).
Однако использование социальных ботов для гражданского участия в российском интернет-пространстве ранее в академической литературе не рассматривалось, в связи с чем результаты приведенного далее исследования представляются новационными и весьма перспективными.
Метод
Авторы осуществили поиск такого рода ботнетов в социальной сети «ВКон-такте» — наиболее масштабной и влиятельной в российском сегменте интернета в рамках более масштабного исследования тематического ландшафта бот-пространства сети «ВКонтакте» 6.
6 Выбор данной сети обусловлен тем, что по данным Mediascope, лидера российского рынка медиаисследований и мониторинга рекламы и СМИ, по итогам 2018 г. социальная сеть «ВКонтакте» возглавляла топ социальных сетей с ежемесячным охватом аудитории в 36,8 млн чел., на втором месте — Instagram (28,3 млн чел.), на третьем — «Одноклассники» (23 млн чел.).
Под ботнетами мы понимаем автоматический или полуавтоматический (с использованием оператора/ов) публикационный комплекс в социальной сети «ВКонтакте», который включает в себя пять компонентов: технологические аккаунты (боты), места размещения публикаций, публикации, программное обеспечение, оператор/ы. Ботнет использует технологические аккаунты для согласованной публикации информационных материалов определенной тематической направленности в заданных местах размещения [Vasilkova, Legostaeva, Radushevskii, 2018] 7.
Методика поиска бот-сетей включала семь этапов: 1) составление списка ключевых слов на основе анализа digital СМИ и статистических параметров частоты употребляемости слов в публикациях (список ключевых слов был сформирован вокруг тем, включающих в себя политическую, маркетинговую и социальную проблематику); 2) определение периода исследования — с 1 февраля по 28 февраля 2018 г. и с 1 октября по 31 октября 2018 г.; 3) анализ целостности данных в Kibana/Discovery по каждому ключевому слову за выбранный период; 4) внесение отсутствующих ключевых слов в рабочее задание для скриптов на PHP, получающих информацию из VK API и сохраняющих ее в ElasticSearch; 5) внесение в рабочее задание процедур по сбору информации для ключевых слов, по которым нет целостности данных (заполнение «пробелов», которые возникли в связи с расширением периода исследования или из-за технических сбоев при обращении VK API); 6) анализ сетевой публикационной активности и взаимосвязей «текст—автор», включая анализ топовых текстов (по тиражируемости) и временных гистограмм их публикации, а также анализ структуры взаимосвязей «текст — автор» на графе; 7) анализ структуры контента и структуры профилей, а именно: анализ контента текстов (корректировка ключевых слов для фокусировки на определенных текстах), а также профайлинг авторов (групп, страниц, событий, пользователей), составляющих выявленные ботнеты 8.
Данная методика является комплексной и объединяет метод частотного анализа размещаемых сообщений, профайлинг бот-аккаунтов, включающий статичный и поведенческий анализ данных профиля, статистический анализ текстов с помощью построения временных гистограмм периода распространения контента с параллельной визуализацией графов соотношения «текст—автор», анализ структурной организации бот-сети, а также анализ контента публикаций. Отличительной особенностью методики является акцент авторов на критерии «тиражируемость контента» в социальной сети «ВКонтакте», с помощью которого при использовании метода временных гистограмм с параллельной визуализацией графа соотношения «текст—автор» выявляются публикационные комплексы по топу тиражируемых текстов. Временные гистограммы включают в себя временной параметр распространения публикации, а также визуализацию пары «тираж—число авторов» («count-authors»). В графе соотношения «текст—автор» узлы—авторы публикаций, ребра — количество публикаций. В процессе анализа контента публикаций авторы
7 Данная трактовка отличается от понимания ботнетов с позиций компьютерной безопасности как вируса, поражающего несколько компьютеров, после чего с этих компьютеров он может проводить координированные РоБ/ Ойов-атаки на серверы сайтов-мишеней.
8 Об использовании данных этапов методики в пилотажном исследовании (март 2018 г.) см: [УавПкоуа, 1_еёов1аеуа, РааивИеувки, 2018].
выделяли социальные проблемы, транслируемые ботнетом, а также функции, выполняемые ботнетом.
Набор ключей состоял из 44 слов, включающих политическую, маркетинговую, социальную тематику (например, «выборы», «президент», «протест», «коррупция», «купить», «цена», «пенсия», «медицина», «образование» и др.).
За февраль 2018 г. было собрано 10 744 103 постов и комментариев с ключевыми словами. За октябрь 2018 г. было собрано 23 350 241 постов и комментариев. Итоговый массив данных составил 34 094 344 публикаций.
Для выявления структур ботнетов из графов соотношений «автор—текст» были использованы алгоритмы кластеризации на базе библиотеки Natural для программной платформы Node.js, основанной на JavaScript. В результате автоматизированной обработки были выделены 42 структуры, представляющие ботнеты, функционирующие в феврале и октябре 2018 г.
Из 42 бот-сетей для описания акцентуации тематического ландшафта бот-пространства сети «ВКонтакте» были выделены десять топ-ботов, которые за указанный период исследования сделали максимальное количество публикаций, относящихся к определенному тематическому классу. Из этих ботнетов шесть действуют в политической сфере, два — в сфере маркетинга и два — в сфере поддержки гражданских инициатив. Еще один ботнет с названием «Новости жителей Мурино» был выявлен в результате использования дополнительной методики анализа всплесков сетевой публикационной активности (описание методики см. ниже при характеристике ботнета).
Три выявленных ботнета мы рассмотрим в контексте реализации ими различных форм гражданского участия.
Результаты исследования
В результате применения основной и дополнительной авторских методик нами были обнаружены три ботнета, которые можно идентифицировать как технологию продвижения структур гражданского общества.
Первый ботнет был выявлен в феврале 2018 г. по ключевому слову «митинг», его тематика посвящена обманутым дольщикам строительной компании ЛенСпецСтрой (см. рис. 1, рис. 2). На графе (см. рис. 3) красными узлами изображены публикации, связанные с ключевым словом «митинг», синие узлы — пользователи (users) и группы (groups), тиражирующие одинаковые публикации "n" раз "n" числом авторов. Следует отметить, что граф не представлен в виде закрытого публикационного комплекса, поскольку его публикации «репостят» другие пользователи социальной сети «ВКонтакте», которые не входят в структуру ботнета. На 11 февраля 2018 г. было зафиксировано распространение 14 публикаций 14 автоматизированными аккаунтами за 2 мин. 50 сек. Данный ботнет является киборгом, поскольку автоматизированные аккаунты-группы сочетаются с аккаунтами-пользователями, которые используют автоматизацию в процессе публикации сообщений.
1И
[ЫХ\
ж
«ОРЬ1
[наших квартир| НА свободе 1 СИХ Пор
/я законопослушный!
гражданин, на л о го пл а ТЕЛ Ь ЩИ К , ПОЧЕМУ Я ОСТАЛСЯ
ОБЪЕДИНЕННАЯ ГРУППА ЖК ЛЕНИНГРАДСКАЯ ПЕРСПЕКТИВА
ОБЪЕДИНЕННАЯ ГРУППА ЖК ЛЕНИНГРАДСКАЯ ПЕРСПЕКТИВА
Вступить в группу
Информация Свежие новости
ОБЪЕДИНЕННАЯ ГРУППА ДОЛЬЩИКОВ ГКЛЕНСПЕЦСТРОИ БЕЗДОМНЫЕ ДОЛЬЩИКИ ЛЕНСПЕЦСТРОЙ
ОБЩАЯ/ОБЪЕДИНЕННАЯ ГРУППА ЖК ЛЕНИНГРАДСКАЯ ПЕРСПЕКТИВА-КВАРТАЛ В МУРИНО Показать полностью...
^ Включить уведомления ¿> Рассказать друзьям Пригласить друзей Сохранить в закладках
Участники 425
Рисунок 1. Технологический аккаунт-группа (group/club) ботнета № 1 «Обманутые дольщики ЛенСпецСтроя»
Рисунок 2. Технологический аккаунт-пользователь (user) ботнета № 1 «Обманутые дольщики ЛенСпецСтроя»
Анализ контента данного ботнета показал, что он выполняет целый ряд функций. Во-первых, информирует участников и подписчиков групп ботнета о событиях и мероприятиях, организованных объединенной группой дольщиков ГК «ЛенСпецСтрой», а также привлекает внимание пользователей социальной сети «ВКонтакте» к проблеме обманутых дольщиков и пайщиков: 1) «Уважаемые дольщики, пайщики, а также те, кто борется с управляющими компаниями! Завтра 15 февраля состоится собрание в 19.30 ст. метро Озерки, ТРЦ «Вояж» у входа в Мираж Синема»; 2) «Дольщики проблемного жилого комплекса—бывшей «Ленинградской перспективы», а ныне «Квартала в Мурино» — добились личной выездной проверки заместителя министра строительства и жилищно-коммунального хозяйства Никиты Стасишина на недостроенный объект»; 3) «участник Объединенной группы дольщиков ГК "ЛенСпецСтрой" на холоде стояла на одиночном пикете прямо у здания Правительства ЛО. Это уже 66-й пикет наших дольщиков против ГК "ЛенСпецСтрой"»; 4) «Мы подали заявки на 318(!!!) адресов в центре Питера на 3 и 4 марта 2018 года, чтобы везде получить отказ... Пришлось подать на незаконные отказы на проведение митинга на Смольный в суд. Заседание — в эту среду, 28 февраля 2018 года»; 5) «Сегодня ВОЗБУЖДЕНО УГОЛОВНОЕ ДЕЛО по ст. 159.4 УК РФ в отношении группы лиц ООО "ЛенСпецСтрой" и ООО "ЛенОблСтрой"!».
Во-вторых, ботнет реализует мобилизационную функцию, участников сообщества призывает к активным действиям как в онлайн-, так и в офлайн-простран-стве: 1) «.делайте репосты в группы других ЖК...»; 2) «ВСТАВАЙТЕ С ДИВАНОВ И ПРИХОДИТЕ, ОЧЕНЬ МНОГО НОВОСТЕЙ. НАША БОРЬБА ПРОДОЛЖАЕТСЯ, И НАМ
НУЖНА ТОЛЬКО ПОБЕДА!»; 3) «Приходите поддерживать нас и как зрители!»; 4) «Следующий Всероссийский митинг БЕЗДОМНЫЙ ДОЛЬЩИК планируем провести 03—04 марта 2018 года».
В-третьих, администраторы ботнета через автоматизированные публикации в группах ботнета ведут борьбу с троллями, которые работают в поддержку позитивного имиджа строительной компании ЛенСпецСтрой: 1) «Так как группа троллей активно защищает ЛенСпецСтрой (ЛСС) от нас реальных дольщиков, видно, что они в очень тесной дружбе с чиновниками ЛСС»; 2) «ВНИМАНИЕ!!! ТРОЛЬщики в группе 'И' опять вбрасывают «разброд и шатания»!!!».
Второй ботнет был обнаружен в феврале 2018 г. по ключевому слову «свалка». Публикация была посвящена теме несанкционированной свалки в районе Кудрово, которую обнаружили экоактивисты организации «Зеленый фронт». Тематика ботнета включает новости и актуальные проблемы жителей Кудрово — города в Заневском городском поселении Всеволожского района Ленинградской области (см. рис. 4, рис. 5).
Рисунок 4. Технологический аккаунт-группа (group/club) ботнета № 2 «Новости жителей Кудрово»
Рисунок 5. Технологический аккаунт-страница/паблик (page/public) ботнета № 2 «Новости жителей Кудрово»
На графе (см. рис. 6) мы видим закрытый публикационный комплекс, состоящий из 14 авторов-групп и публичных страниц, которые 15 февраля 2018 г. сделали 16 публикаций за 50 секунд, что говорит о высоком уровне автоматизации данного ботнета. Ботнет использует информацию, опубликованную цифровыми российскими СМИ (например, nevnov.ru, 47NEWS, газета», kudrovo24, «Заневский вестник»).
Основная функция данного ботнета — информирование аудитории социальной сети по широкому кругу социальных вопросов: 1) создание наблюдательного совета новостроек из числа чиновников и активистов в зонах застройки Бугров, Мурино, Всеволожска, Кудрово и Нового Девяткино; 2) плюсы и минусы присвоения статуса города Кудрово; 3) проектирование и строительство досугового комплекса в Мега-парке; 4) открытие интерактивного музея по истории Кудрово; 5) несоответствие транспортных и социальных объектов (амбулатории, поликлиники, внутриквартальные проезды) действующему Генплану; 6) борьба участников «Движение активистов Кудрово» с правительством Ленинградской области, а также администрацией Заневского поселения по вопросу переноса сроков завершения строительства дороги между трассами Деревня Старая — Кудрово и Р-21 «Кола»; 7) несанкционированная свалка на территории Кудрово; 8) борьба активистов с неправомерным присвоением земель частными лицами; 9) проблема «виртуальных детей», которые занимают места в детских садах Кудрово;
10) ликвидация нелегальных коммерческих автобусов с буквой «К» на табличке;
11) развитие транспортного плана Кудрово; 12) несогласие местных жителей
с техническим заданием по благоустройству и реконструкции зеленой зоны парка Оккервиль, представленным администрацией города.
Вторая функция ботнета — мобилизующая, призыв к активным действиям в он-лайн-пространстве. В частности, активисты просят подписчиков писать письма или рассылать уже заполненные шаблоны по указанным электронным адресам для решения социальных вопросов (например, осуждение прецедента сознательного завышения тарифов чиновниками и топ-менеджерами в Коми, благоустройства Кудровского проезда и др).
Рисунок 6. Граф взаимосвязи «автор-текст» ботнета № 2 «Новости жителей Кудрово»
Рисунок 7. Всплеск СПА в мае 2017 г. по ключевому слову «школа» с привязкой к пос. Мурино
Третий ботнет был выявлен в результате использования дополнительной методики, которая фокусируется на всплесках сетевой публикационной активности (СПА). На рис. 7 видно, что в мае 2017 г. произошел всплеск сетевой публикационной активности на тему «Образование» по ключевому слову «школа».
При фокусировке исследования на всплеске был обнаружен закрытый публикационный комплекс, который 7 мая 2017 г. за 10 сек. сделал восемь публикаций от имени восьми авторов-групп (groups) и авторов-страниц (pages), включающих в себя ключевое слово «школа» (см. рис. 8, рис. 9, рис. 10). В тексте публикаций говорилось об обрушении крыши спортзала школы в пос. Мурино, что повлекло за собой смерть человека и возбуждение уголовного дела по факту нарушения правил безопасности при строительстве школы. Дальнейшее изучение публикаций ботнета показало, что его основная функция — информирование широкой аудитории пользователей социальной сети «ВКонтакте» о новостях и проблемах жителей Мурино — поселка во Всеволожском районе Ленинградской области: 1) проблемы, связанные с транспортной инфраструктурой; 2) открытие «Школы мигранта» для образовательной и социокультурной работы с детьми мигрантов; 3) демонтаж незаконных рекламных щитов; 4) смерть 19-летней девушки предположительно от передозировки наркотическими средствами; 5) проверка следственным отделом по городу Всеволожск по факту смерти восьмилетнего мальчика в поселке Новое Девяткино; 6) жалобы жителей Мурино на слив в реку Охта неизвестной жидкости с территории строительной площадки ЖК «Муринский Посад» от компании ЦДС; 7) гражданский контроль совместно с администрацией Всеволожского района, правоохранительными органами, Росреестром и Кадастром за публичной кадастровой картой с целью предотвращения «подозрительных передвижений земли».
Большое количество публикаций данного ботнета сделаны в виде репостов с интернет-СМИ 47news.
Участники 1 5699
Рисунок 8. Технологический аккаунт-группа (group/club) ботнета № 3 «Новости жителей Мурино»
Рисунок 9. Технологический аккаунт-страница/паблик (page/public) ботнета № 3 «Новости жителей Мурино»
Рисунок 10. Граф взаимосвязи «автор-текст» ботнета № 3 «Новости жителей Мурино»
Выводы и дискуссия
В результате применения основной и вспомогательной авторских методик детектирования ботнетов в социальной сети «ВКонтакте» нами были выявлены три ботнета, используемых гражданскими активистами. Анализ контента тиражируемых публикаций позволяет говорить о реализации ими следующих функций:
— представление интересов групп гражданского общества (информирование о важнейших для этих групп социальных проблемах),
— призыв к совместным активным действиям в онлайн- и офлайн-простран-стве (петиции, митинги, пикеты),
— социальный контроль за деятельностью чиновников, обеспечение прозрачности информации, поступающей от государственных и бизнес-структур (борьба с троллингом и др.).
Таким образом, бот-технологии на наших глазах становятся новым инструментом развития гражданского участия и могут выступать фактором формирования электронного гражданского общества.
Несмотря на то, что сравнительный анализ социальных проблем, которые актуализируются в ботах российской и зарубежных социальных сетей (см. раздел «Практики использования социальных ботов для гражданского участия: обзор источников»), провести достаточно сложно из-за слабой эмпирической базы, можно отметить, что на данном этапе рассмотрения темы обнаруживается определенная российская специфика. Она заключается в том, что в фокусе внимания российских активистов, использующих бот-технологии, оказываются проблемы местного сообщества и местного самоуправления. Однако перспективы сохранения данного тренда и его интерпретация требуют дополнительного анализа.
В контексте зарубежных исследований использования бот-технологий в российских социальных сетях представленная статья имеет принципиально нова-ционный характер. Представление о российском бот-пространстве искажено в силу как идеологических причин, так и отсутствия достаточного эмпирического материала. В новейшем обзорном исследовании, посвященном разнообразным формам социальных ботов в политическом ландшафте различных стран (Россия, Украина, Канада, Польша, Тайвань, Бразилия, Германия, США, Китай), в разделе, посвященном России, рассматриваются только злонамеренные политические боты, используемые в проправительственных фабриках троллей для борьбы с оппозицией и ведения внешнеполитической пропаганды [Woolley, Howard, 2018: 24—28]. При этом зафиксировано наличие опыта использования бот-технологий для развития демократических процессов другими странами. В этом плане наше исследование позволяет заполнить важные «информационные пустоты» в академических представлениях по рассматриваемой проблематике.
При этом авторы отдают себе отчет в том, что проведенное исследование имеет определенные ограничения, связанные с тем, что выявление бот-сетей такого рода — это лишь первый опыт анализа использования бот-технологий гражданскими активистами в социальной сети «ВКонтакте». Развитие темы использования таких технологий для продуцирования позиций различных субъектов гражданского общества имеет широкие перспективы как в плане технологического разнообразия социальных ботов, так и в плане разнообразия обсуждаемых социаль-
ных проблем и групп гражданского общества. Такие перспективы в российском онлайн-пространстве обусловлены в первую очередь спецификой социальной базы гражданского активизма, который, как показывает проведенное Институтом социологии РАН исследование, выглядит «весьма респектабельно». «Основные черты его социального портрета — молодость, хорошее образование, высокое социальное положение, урбанизм, интеллектуальная профессиональная занятость» [Седова, 2014: 69], то есть наличие достаточного потенциала для использования новейших информационных технологий в онлайн-позиционировании активной гражданской позиции (см. также об этом [Трофимова, 2015]).
Еще одним перспективным направлением развития темы является структурный анализ ботсетей, позволяющий оценить масштаб и эффективность публичного присутствия субъектов гражданского общества в пространстве социальных сетей («эффект мегафона»). Здесь нами были получены следующие результаты.
1) Комплексные ботнеты, состоящие из автоматизированных групп, публичных страниц и пользователей-активистов, использующих механизмы автоматизации в процессе размещения сообщений, привлекают к себе больше внимания пользователей социальной сети «ВКонтакте» и вызывают у них большее доверие (за счет присутствия в структуре ботнетов реальных активистов-пользователей). Результатом деятельности такого комплексного ботнета становятся репосты публикаций ботнета на стенах других реальных пользователей социальной сети (ботнет № 1). Таким образом, из первоначально закрытых публикационных комплексов ботнеты превращаются в открытые структуры и начинают активно взаимодействовать с другими субъектами социальной сети «ВКонтакте».
2) Комбинирование структурных единиц, составляющих ботнеты, позволяет компенсировать одни технические ограничения сообществ техническими возможностями других сообществ (например, ботнеты № 2 и № 3 состоят как из групп, так и из публичных страниц).
3) Более сложная структура ботнета с привлечением реальных пользователей, использующих механизмы автоматизации и заинтересованных в решении социально значимых проблем по личным мотивам, позволяет ботнету реализовать более широкий спектр функций (ботнет № 1). В этом плане продуктивным представляется исследование системы взаимодействия ботсетей с автоматизацией различного уровня (боты с ботами, люди с ботами, боты с людьми) [Varol et al., 2017] 9, что позволяет субъектам гражданского общества сознательно конструировать (или выбирать) наиболее эффективные технологические и коммуникативные стратегии для решения конкретных социальных проблем.
Список литературы (References)
Бронников И. А. Метаморфозы гражданского общества // PolitBook. 2012. № 2. С. 77—99.
9 В данном исследовании представлена уникальная методика выявления ботов в социальной сети Twitter, использующая более тысячи характеристик, полученных из общедоступных данных и метаданных о пользователях по пяти параметрам — друзья, твиты и настроения, сетевые шаблоны/паттерны, временной ряд пользовательской активности. Данная методика позволила авторам установить, что от 9 % до 15 % активных аккаунтов в сети Twitter являются ботами различной природы (автоматизированные и частично автоматизированные программы).
Bronnikov I. (2012) Civil society shift. PolitBook. No. 2. P. 77—99. (In Russ.)
Василькова В. В., Легостаева Н. И. Социальные боты в политической коммуникации // Вестник РУДН. Серия «Социология». 2019. № 1. С. 121—133. http://dx.doi. org/10.22363/2313-2272-2019-19-1-121-133.
Vasilkova V. V., Legostaeva N. I. (2019) Social bots in political communication. RUDN Journal of Sociology. No. 1. P. 121—133. http://dx.doi.org/10.22363/2313-2272-2019-19-1-121-133. (In Russ.)
Коновалов В. Н. Словарь по политологии. 2010. Ростов-на-Дону : РГУ. Konovalov V. N. (2010). Dictionary of Political Science. Rostov-on-Don: RSU. (In Russ.)
Седова Н. Н. Гражданский активизм в современной России: форматы, факторы, социальная база // Социологический журнал. 2014. № 2. С. 48—71. Sedova N. (2014) Civil activism in modern Russia: formats, factors, social base. Sociological Journal. No. 2. P. 48—71. (In Russ.)
Трофимова И. Н. Гражданский активизм в современном российском обществе: особенности локализации // Социологические исследования. 2015. № 4. С. 72—77. Trofimova I. N. (2015) Civil activism in modern Russian society: features of localization. Sociological studies. No. 4. P. 72—77. (In Russ.)
Arnaudo D. (2017) Computational Propaganda in Brazil: Social Bots During Elections. Oxford, UK: Project on Computational Propaganda. Vol. 8. P. 1—39. URL: https:// comprop.oii.ox.ac.uk/research/working-papers/computational-propaganda-in-brazil-social-bots-during-elections/ (accessed: 28.09.2019)
Bessi A., Ferrara E. (2016) Social Bots Distort the 2016 US Presidential Election Online Discussion. First Monday. Vol. 21. No. 11. P. 1—14. https://doi.org/10.5210/ fm.v21i11.7090.
Boshmaf Y., Muslukhov I., Beznosov K., Ripeanu M. (2011) The socialbot network: when bots socialize for fame and money. In: Proceedings of the 27th Annual Computer Security Applications Conference. Orlando, Florida, USA. P. 93—102. https://doi. org/10.1145/2076732.2076746.
Brachten F., Mirbabaie M., Stieglitz S., Berger O., Bludau S., Schrickel K. (2018) Threat or Opportunity? — Examining Social Bots in Social Media Crisis Communication. Australasian Conference on Information Systems. Sydney. URL: https://arxiv.org/ ftp/arxiv/papers/1810/1810.09159.pdf (accessed: 28.09.2019).
Chu Z., Gianvecchio S., Wang H., Jajodia S. (2010) Who is tweeting on Twitter: human, bot, or cyborg? In: Proceedings of the 26th annual computer security applications conference. Austin, Texas, USA. P. 21—30. https://doi.org/10.1145/1920261.1920265.
Ferrara E., Varol O., Davis C., Menczer F., Flammini A. (2016) The rise of social bots. Communications of the ACM. Vol. 59. No. 7. P. 96—104. https://doi.org/10.1145/ 2818717.
Ford H., Puschmann C., Dubois D. (2016) Keeping Ottawa Honest, One Tweet at a Time? Politicians, journalists, Wikipedians and their Twitter bots. International Journal of Communication. Vol. 10. P. 4891—4914.
Forelle M. C., Howard P. N., Monroy-Hernandez A., Savage S. (2015) Political bots and the manipulation of public opinion in Venezuela. Oxford, UK: Project on Computational Propaganda. URL: https://arxiv.org/ftp/arxiv/papers/1507/1507.07109.pdf (accessed: 28.09.2019)
Franklin S., Graesser A. (1996) Is It an agent, or just a program?: A taxonomy for autonomous agents. In: Müller J. P., Wooldridge M. J., Jennings N. R. (eds.) Intelligent Agents III Agent Theories, Architectures, and Languages. ATAL 1996. Lecture Notes in Computer Science (Lecture Notes in Artificial Intelligence). Vol. 1193. Springer, Berlin, Heidelberg. P. 21—35. https://doi.org/10.1007/BFb0013570.
Gehl R. W., Bakardjieva M. (2017) Socialbots and their friends. In: Socialbots and their friends. Digital Media and the Automation of Sociality. Ed. by Robert W. Gehl and Maria Bakardjieva. New York: Taylor & Francis. P. 1—16.
Gorwa R., Guilbeault D. (2018) Unpacking the Social Media Bot: A Typology to Guide Research and Policy. Policy & Internet. P. 1—24. https://doi.org/10.1002/poi3.184.
Graham T., Ackland R. (2017) Do Socialbots Dream of Popping the Filter Bubble? The Role of Socialbots in Promoting Deliberative Democracy in Social Media. In: Socialbots and their friends. Digital Media and the Automation of Sociality. Ed. by Robert W. Gehl and Maria Bakardjieva. New York: Taylor & Francis. P. 187—207.
Hofeditz L., Ehnis, C., Bunker D., Brachten F., Stieglitz S. (2019) Meaningful use of social bots? Possible applications in crisis communication during disasters. In Proceedings of the 27th European Conference on Information Systems (ECIS). Stockholm & Uppsala, Sweden. URL: https://aisel.aisnet.org/ecis2019_rp/138/ (accessed: 28.09.2019).
Howard P. N. (2010) Digitizing the social contract: Producing American political culture in the age of new media. The Communication Review. Vol. 6. No. 3. P. 213—245. https://doi.org/10.1080/10714420390226270.
Howard P. N., Bolsover G., Kollanyi B., Bradshaw S., Neudert L.-M. (2017) Junk news and bots during the U. S. Election: What were Michigan voters sharing over Twitter? CompProp, OII, Data Memo. Oxford, UK: Project on Computational Propaganda. URL: https://comprop.oii.ox.ac.uk/research/working-papers/junk-news-and-bots-during-the-u-s-election-what-were-michigan-voters-sharing-over-twitter/ (accessed: 28.09.2019).
Howard P. N., Kollanyi B. (2016) Bots, #Strongerin, and #Brexit: Computational propaganda during the UK-EU referendum. Oxford, UK: Project on Computational Propaganda. https://doi.org/10.2139/ssrn.2798311.
Hwang T., Pearce I., Nanis M. (2012) Socialbots: voices from the fronts. Interactions. Vol. 19. No. 2. P. 38—45. https://doi.org/10.1145/2090150.2090161.
Metaxas P. T., Mustafaraj E. (2012) Social media and the elections. Science. Vol. 338. No. 6106. P. 472—473. https://doi.org/10.1126/science.1230456.
Ratkiewicz J., Conover M., Meiss M., Gonçalves B., Patil S., Flammini A., Menczer F. (2011) Truthy: Mapping the spread of astroturf in microblog streams. In: Proceedings of the 20th International Conference Companion on World Wide Web, New York, NY, USA. P. 249—252. https://doi.org/10.1145/1963192.1963301.
Savage S., Monroy-Hernandez A., Hollerer T. (2016) Botivist: Calling volunteers to action using online bots. In Proceedings of the 19th ACM Conference on ComputerSupported Cooperative Work & Social Computing, CSCW '16, SAN FRANCISCO, CA, USA. P. 813— 822. https://doi.org/10.1145/2818048.2819985.
Schäfer F., Evert S., Heinrich P. (2017) Japan's 2014 General Election: Political Bots, Right-Wing Internet Activism, and Prime Minister Shinzö Abe's Hidden Nationalist Agenda. Big data. Vol. 5. No4. P. 294—309. https://doi.org/10.1089/big.2017.0049.
Stieglitz S., Brachten F., Ross B., Jung A.-K. (2017) Do Social Bots Dream of Electric Sheep? A Categorisation of Social Media Bot Accounts. Australasian Conference on Information Systems, Hobart, Australia. URL: https://arxiv.org/ftp/arxiv/ papers/1710/1710.04044.pdf (accessed: 28.09.2019).
Varol O., Ferrara E., Davis C. A., Menczer F., Flammini A. (2017) Online human-bot interactions: Detection, estimation, and characterization. In: Eleventh international AAAI conference on web and social media. URL: https://www.aaai.org/ocs/index.php/ ICWSM/ICWSM17/paper/viewPaper/15587 (accessed: 28.09.2019).
Vasilkova V., Legostaeva N., Radushevskii V. (2018) Botnets as an election campaign tool: a methodology for identification and analysis of network publication activity. In The Internet, Policy & Politics Conference. Oxford, UK. URL: https://blogs.oii.ox.ac.uk/ policy/ipp-conference/paper (accessed: 28.09.2019).
Velâzquez E., Yazdani M., Suârez-Serrato P. (2017) Socialbots supporting human rights. AIES '18 Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society. New Orleans, LA, USA. P. 290—296. https://doi.org/10.1145/3278721.3278734.
Woolley S. C., Howard P. N. (eds.). (2018) Computational propaganda: political parties, politicians, and political manipulation on social media. Oxford University Press. https:// doi.org/10.1093/oso/9780190931407.001.0001.
