CC BY
74
УДК 004.056 DOI: 10.25587/SVFU.2017.62.8449
М. В. Тумбинская
Системный анализ распространения нежелательной информации в Online Social Network
ФГБОУ ВО Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ, г. Казань, Россия
Аннотация. В настоящее время современные пользователи активно используют социальные сети (Online Social Network) для продвижения бизнеса, рекламы товаров и услуг, досуга, хобби, личного общения и обмена информацией. Пользователи социальных сетей самостоятельно размещают личную информацию о себе на персональных страницах, тем самым являясь открытым источником информации для злоумышленников. Злоумышленники используют различные способы реализации атак, одним из которых является распространение нежелательной (таргетированной) информации. Успешное распространение нежелательной информации влечет реализацию сценария атаки и достижение цели злоумышленника. В связи с этим у злоумышленников появляется интерес вовлечения в процесс реализации атаки так называемых лидеров сообществ социальных сетей (пользователей, которые имеют высокий уровень доверия, влияния среди большого числа пользователей сообществ), способных успешно реализовать часть действий сценария атаки злоумышленника. В статье представлены результаты исследования в трех ситуациях: распространение пользователем, потенциальным злоумышленником, таргетированной информации в социальной сети, получение таргетированной информации пользователями социальной сети, противодействие и предотвращение распространения таргетированной информации в социальной сети. Описаны экспериментальные данные и представлена их интерпретация. Предложена методика защиты от таргетированной информации, распространяемой в социальных сетях, которая позволит повысить уровень защищенности персональных данных и личной информации пользователей социальных сетей, достоверность информации. Результаты исследования позволят предотвратить угрозы информационной безопасности, противодействовать атакам злоумышленников, которые зачастую используют методы конкурентной разведки и социальной инженерии за счет применения мер противодействия, разработать модель защиты от таргетирован-ной информации и реализовать специальное программное обеспечение для его интегрирования в Online Social Network.
Ключевые слова: социальная сеть, системный анализ, таргетированная информация, нежелательная информация, хакер, информационная безопасность, вычислительный эксперимент, экспериментальные данные, интерпретация, описательная статистика.
ТУМБИНСКАя Марина Владимировна - к. т. н., доцент кафедры систем информационной безопасности ФГБОУ ВО Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ.
E-mail: tumbinskaya@inbox.ru
TUMBINSKAYA Marina Vladimirovna - PhD in information technology, Associate Professor of the Department of Information Security Systems, Institute of Computer Technologies and Information Protection FGBOU VO Kazan National Research Technical University A.N. Tupolev-KAI.
M. V. Tumbinskaya
System Analysis of Undesirable Information Dissemination in Online Social Network
FGBOU VO Kazan National Research Technical University A. N. Tupolev-KAI, Kazan, Russia
Abstract. Nowadays users of social networks (Online Social Network) are increasingly using them to promote business, distribute advertisements for goods, services, leisure, hobbies, personal communication, and information exchange, thus becoming an open source of information for intruders. Attackers use various ways to implement attacks, one of which is spread of unwanted (targeted) information. Successful distribution of unwanted information entails the implementation of attack scenario and successful targeting of the attacker. In this regard, the attackers are interested in involving the so-called social networking community leaders (users who have a high level of trust, and influence among a large number of community users) who are able to successfully implement a part of the attack scenario. The article presents the results of the research based on three situations: dissemination of the targeted information by the potential attacker in the social network; receipt of targeted information by users of the social network; the counteraction and prevention of targeted information dissemination in the social network. Description of experimental data and their analysis are presented. The technique of protection from the targeted information distributed in social networks is suggested, which will allow to increase the level of personal data and social network users' personal information protection as well as the reliability of information. Through the use of countermeasures the research will help to prevent threats to information security, and to counteract attacks by intruders who often use methods of competitive intelligence and social engineering; to develop a model of protection against targeted information; and to implement special software for its integration into the Online Social Network.
Keywords: Social network, system analysis, targeted information, unsolicited information, hacker, information security, computational experiment, experimental data, interpretation, descriptive statistics.
Введение
В настоящее время каждый человек является пользователем интернет-пространства, активно развиваются виртуальные социальные сети - Online Social Network (OSN). В литературе синонимом понятия «социальные сети» является понятие «микроблоггинг». OSN характеризуются простотой реализации продвижения бизнеса, распространения рекламы товаров и услуг, досуга, хобби, личного общения и обмена информацией, тем самым являясь открытым источником информации для злоумышленников. Как правило, злоумышленники в OSN для достижения своих целей применяют мошеннические схемы, что подтверждается исследованиями [1, 2]. В работе [3] рассматриваются различные способы мошенничества в наиболее распространенных социальных сетях Facebook, Whatsapp, Twitter и т. д., методы и способы борьбы с ними. Злоумышленники в качестве одного из способов получения конфиденциальной информации используют распространение таргетированной информации в OSN на основе методов манипуляции пользователями [4, 5] и социальной инженерии. Понятие таргетированной информации порождено понятием «таргетированная реклама». Четкого определения понятия «таргетированная информация» нет, автор статьи под таргетированной информацией понимает нежелательную информацию, навязанную конкретному пользователю или целевой группе пользователей для достижения поставленной цели отправителя (например, продажа товаров, услуг, в контексте информационной безопасности - получение конфиденциальной информации, например, персональные данные, логины и пароли и т. д.) посредством социальных ресурсов. Исследования, посвященные таргетированной рекламе в социальных сетях, представлены в работах авторов [6]. Вопросы распространения информации
в системах микроблоггинга рассмотрены в работе [7], эффективного распространения информации в OSN - в работе [8]. Под эффективностью распространения информации понимается степень соответствия результатов распространения информации цели распространения информации.
Для своих целей злоумышленники могут использовать лидеров OSN, например, для вербовки или вовлечения в террористические группировки [9, 10]. Чаще всего лидеры имеют высокий уровень доверия среди большого числа пользователей OSN или сообщества, либо являются создателями (администраторами) сообществ [11].
Научная новизна работы заключается в получении экспериментальных данных, позволяющих выявить параметры потенциального злоумышленника в социальных сетях, которые заложены в основу методики защиты от таргетированной информации, сформировать рекомендации для пользователей социальных сетей по предотвращению инцидентов информационной безопасности.
Обработка социальной информации и влияние факторов на распространение таргетированной информации в социальных сетях
Выборка данного исследования представляет собой 2499 пользователей социальных сетей Twitter, Facebook, ВКонтакте, являющихся модераторами (администраторами) сообществ пользователей России, в большинстве своем молодежь в возрасте от 17 до 30 лет. Все 2499 пользователей отвечали на тестовый опрос, касающийся ситуаций распространения нежелательной информации в социальных сетях и противодействия распространению таргетированной информации. Пользователи социальных сетей участвуют в многочисленных ситуациях, связанных с распространением нежелательной информации, как в роли жертвы, так и в роли потенциального злоумышленника. Благодаря этому можно изучать процесс принятия решения, факторы, влияющие на ситуации, характеризующие повышенным риском распространения нежелательной информации в социальных сетях.
В исследовании все тестовые опросы являлись анонимными и проводились в течение 6 месяцев 2016-2017 гг. Один тестовый опрос пользователя длился около 1 часа. Опрос проводился с помощью тестовых бланков, результаты обрабатывались в статистическом пакете Statistica 10.0. Все респонденты дали письменное согласие добровольно участвовать в исследовании.
В исследовании изучалось влияние обработки социальной информации, ситуационных и личностных параметров на повышение вероятности распространения нежелательной информации. Для этого была собрана информация от респондентов о ситуациях получения, распространения нежелательной информации и их купирования.
Ситуация получения таргетированной информации определяется как принудительное доведение потенциальным злоумышленником информационного сообщения средствами социальных сетей и систем микроблоггинга до пользователя (потенциальной жертвы) для достижения своей цели. Ситуация распространения нежелательной информации предполагает массовую передачу потенциальным злоумышленником информационных сообщений пользователям социальных сетей для достижения своей цели. Ситуация противодействия распространению нежелательной информации - это ситуация, в которой распространение информации, воспринимавшееся пользователем как возможное, не произошло по любой причине, например, блокировке подозрительного аккаунта, рассылающего спам.
Значения параметров тестового опроса представлены в бинарной шкале. Все параметры принимают значения либо «0», либо «1», что позволяет выявлять меры связи между ними. В соответствии с теорией обработки социальной информации (ТОСИ) проанализируем процесс принятия решения злоумышленником в ситуации распространения таргетирован-ной информации. ТОСИ - это социальный когнитивный подход, основанный на
допущении, что человек «вступает в социальную ситуацию с набором биологически ограниченных возможностей и с базой данных о своем прошлом опыте».
Средний возраст респондентов составил 22 года. Из них 74,99 % - мужчины, остальные женщины. Более половины респондентов имеют высшее образование (57,98 %). Большинство респондентов указали на принадлежность к низшему классу (70,99 %), т. к. респонденты - это студенты, основным источником дохода которых являются стипендия и случайный заработок. Остальные респонденты относят себя к среднему классу (26 % случаев) - магистранты и аспиранты, которые имеют возможность полноценно трудиться и заниматься наукой. Статистика семейного положения респондентов также свидетельствует о том, что студенты в период получения высшего образования не состоят в браке (69,03 %), имеют гражданского партнера - 23,97 %, а в официальном браке состоят всего 7 %. 81,03 % респондентов сообщили, что обладают средним уровнем знаний в IT-сфере, что объяснимо стремлением получить качественные знания в процессе обучения в вузе, а также возможностью совершения «безобидных» кибератак даже с целью имитации и любознательности. Процентное отношение респондентов к общему числу респондентов распределилось неравномерно. К социальной сети Twitter принадлежит 21 % респондентов, к сети Facebook - 22 %, а к сети ВКонтакте - 57 %. Так, к группам социальных сетей «хобби, развлечения» относится 15,81 %, «обучение» - 16,58 %, «религия» - 16,65 %, «знакомства» -18,17 %, «бизнес» - 16,87 %, «проблема, беда»
- 15,92 %.
В ходе исследования 2499 респондентов сообщили более чем о 20 тыс. нежелательных сообщений, поступивших от различных пользователей социальных сетей. За анализируемый промежуток времени пользователи получали от 4 до 10 сообщений, содержащих нежелательную информацию - 33,41 %, 11,72 % респондентов отметили, что не получали подобные сообщения. В 39,98 % случаях отправителем сообщений, содержащих нежелательную информацию, являются неизвестные пользователи, 30,01 % - с фейко-вых аккаунтов. Реже всего такие сообщения приходят от друзей (5,00 %) и администраторов (модераторов) различных сообществ социальных сетей. Данная статистика характеризуется тем, что друзья редко подвергают друг друга такого рода рассылкам, а администраторы (модераторы) сообществ дорожат своей репутацией.
По содержанию нежелательных сообщений респонденты отмечают, что все предложенные варианты ответов тестового опроса имеют место быть, и в 17,96 % случаев
- это ссылка на фишинг-сайты, в остальных случаях значения равны 15,5 %-16,8 %. Это вредоносные программы, ссылки, вербовка в террористические группы, вовлечение в сомнительные группы, спам и даже реклама товаров и услуг. 85,83 % респондентов отметили, что на их аккаунты в социальных сетях не было ни одной кибератаки, что, вероятнее всего, обусловлено недостаточным промежутком времени исходной выборки (6 месяцев) и, следовательно, обращение в службу технической поддержки нецелесообразно (79,79 %).
Очень часто в социальных сетях пользователи просят друг друга помочь в рассылке какой-либо информации, например, призыв о помощи и т. п. По статистике, большинству респондентов подобного рода сообщения с просьбой о чем-либо поступали менее 5 раз (39,22 %) или вовсе не приходили (13,49 %). Соглашаясь на рассылку подобного рода сообщений с просьбой о чем-либо, многие респонденты преследуют более чем одну цель, например, финансовую выгоду (33,48 %) или самоутверждение (25,69 %). 72,59 % респондентов отметили, что достигли своих целей средствами рассылки информации нежелательного содержания. Рассылку таргетированной информации можно предотвратить путем фильтрации информационных сообщений пользователей социальных сетей. Так, 60,03 % респондентов отметили, что ключевых словосочетаний/слов в базе данных фильтрации сообщений составляет от 5 до 10. Кроме того, следует учитывать семантику ключевых словосочетаний/слов для фильтрации сообщений.
Результат исследования показывает, что потенциальный злоумышленник может использовать различные способы распространения нежелательной информации в зависимости от поставленных целей. Самым простым и краткосрочным способом распространения нежелательной информации является принуждение, привлечение администраторов (модераторов) сообществ в социальных сетях, т. к. они чаще всего обладают высоким уровнем доверия среди пользователей и вероятность достижения своих целей злоумышленником высока. В табл. 1 приводятся статистические данные выборки из 2499 респондентов.
Таблица 1
Описательная статистика (за 6 месяцев) выборки из 2499 пользователей о возможных ситуациях распространения таргетированной информации в социальных сетях
Обозначения Переменная Частотность %
Количество получаемых сообщений нежелательного содержания
не получал 293 11,72
n43 менее 3 раз 732 29,29
n44 от 4 до 10 раз 835 33,41
^5 от 11 до 15 раз 328 13,13
n46 от 16 до 20 раз 210 8,40
n47 более 20 раз 101 4,04
Кто является отправителем сообщений нежелательного содержания в социальной сети?
И,» пользователи сообществ социальной сети 500 20,01
модератор (администратор) социальной сети 125 5,00
фейковый аккаунт 750 30,01
n51 друг 125 5,00
неизвестный пользователь 999 39,98
Содержание нежелательных сообщений
ссылка на вредоносный код 388 15,53
n54 ссылка на фишинг-сайт 449 17,96
^5 вовлечение в террористические группы 407 16,29
n56 вовлечение в сомнительные группы 415 16,6
n57 спам 422 16,89
n58 реклама товаров, услуг 418 16,73
Количество кибератак на ваш аккаунт было успешно реализовано
^9 нет 2145 85,83
n60 менее 3 раз 353 14,13
n61 от 4 до 10 раз 1 0,04
n62 от 11 до 15 раз 0 0,00
n63 более 15 раз 0 0,00
Количество обращений в службу технической поддержки
n64 не обращался 1994 79,79
n65 менее 5 раз 266 10,64
n66 от 5 до 20 раз 204 8,16
n67 от 20 до 30 раз 35 1,40
n68 от 30 до 50 раз 0 0,00
n69 более 50 раз 0 0,00
Количество обращений к модератору (администратору) социальной сети с просьбой заблокировать определенного пользователя
не обращался 1637 65,51
П71 менее 5 раз 676 27,05
n72 от 5 до 20 раз 142 5,68
n73 от 20 до 30 раз 0 0,00
П74 от 30 до 50 раз 44 !,76
более 50 раз 0 0,00
Сколько раз вам поступали предложения как модератору (администратору) сообщества
социальной сети сделать рассылку информационных сообщений нежелательного содержания
пользователям вашего сообщества?
п,^ не поступали 337 В,49
менее 5 раз 980 39,22
П78 от 5 до 20 раз 690 27,6!
П79 от 20 до 30 раз т 6,08
П80 от 30 до 50 раз т 6,84
П,, более 50 раз !69 6,76
Какую цель вы преследовали, соглашаясь на рассылку информационных сообщений
нежелательного содержания пользователям вашего сообщества?
П82 финансовая выгода П9! 33,48
П,, самоутверждение Ш4 25,69
П84 месть сообществу социальной сети 77 ,,44
П85 месть работодателю 207 3,87
П86 конкурентная разведка та 3,25
Пп экстремизм 88 ^65
П88 хулиганство М3 2,67
П89 вербовка в террористические группы 39 0,73
П90 вовлечение в группы злоумышленников 205 3,83
П9, исследование, интерес !25! 23,39
Достигли ли вы своей цели путем распространения нежелательной инс юрмации, согласившись на
рассылку информационных сообщений?
П92 да Ш4 72,59
П93 нет 685 27,4,
Сколько раз вы обращались в службу технической поддержки с просьбой заблокировать
аккаунт пользователя, распространяющего нежелательную информацию?
П94 не обращался 250 Ю,00
П95 менее 5 раз 874 34,97
П96 от 5 до 20 раз Ю00 40,02
П97 от 20 до 30 раз 250 Ю,00
П98 более 30 раз !25 5,00
Сколько ключевых словосочетаний/слов в базе данных сообщества (где вы являетесь модератором)
для фильтрации сообщений?
П99 менее 5 75 3,00
П,„„ от 5 до Ю Ш0 60,03
П,0, от Ю до ¡5 249 9,96
П,02 от ,5 до 20 500 20,0,
П,03 более 20 П5 7,00
Количество пользователей в вашем сообществе
П,04 <50 204 8Д6
П,05 от 50 до Ш 587 23,49
П,06 от Ш до 300 969 38,77
П,0, от 300 до 500 Ш 6Д2
П,08 от 500 до Ю0 382 ,5,30
ПШ9 более !000 204 8Д6
В результате экспериментального исследования были рассмотрены три ситуации: 1) ситуация распространения пользователем, потенциальным злоумышленником, таргетированной информации в социальной сети;
2) ситуация получения таргетированной информации пользователями социальной сети;
3) ситуация противодействия и предотвращения распространения таргетированной информации в социальной сети.
В рамках исследования ситуации №1 была выявлена взаимосвязь параметров: n23 - n25,
n, n., n. - nn, - n,., n.. - П,,, Пл - n., n.. - n., n., - n • n. - n., n.n - n., n.. - n.„ n.. - n„
12 3 7 8 13 14 16 20 22' 42 4 7 48 52' 1 16 20 22' 26 31 42 52;
n37 - n , n1 - n22, n42 - n52 На рис. 1, 2 и в табл. 2-5 представлены статистические данные по ситуации № 1 - распространение пользователем, потенциальным злоумышленником, таргетированной информации в социальной сети.
Анализ полученных результатов показал, что в более чем 34 % случаев пользователи каждой из социальных сетей (Twitter, Facebook, ВКонтакте) получали нежелательные сообщения от 4 до 10 раз за анализируемый период. В 48 % случаях отправителем являются пользователи сообществ социальной сети Twitter, в 40 % случаях - фейковый аккаунт социальной сети Facebook, а в 34 % случаях - в социальной сети ВКонтакте. Чаще всего распространение происходит в социальной сети Twitter (44 %). Анализ позволяет сделать вывод, что пользователи сообществ социальной сети Twitter склонны к распространению таргетированной информации. Можно предположить, что отправитель нежелательной информации в социальной сети - мужчина (n>60 %) в возрасте от 20 до 27 лет (n4>40 %, n5>30 %), с высшим образованием бакалавриата (n10>35 %), холостой (n14>65 %), со средним уровнем знаний в IT-сфере (n21>80 %), использующий социальную сеть Twitter.
Уровень знаний в 1Т- сфере высокий Уровень знаний в 1Т- сфере средний Уровень знаний в 1Т- сфере низкий Семейное положение - в браке Семейное положение - имею гражданского партнера Семейное положение холост Образование аспирантура Образование магистратура Образование высшее специалитет Образование высшее бакалавриат Образование начальное профессиональное Образование среднее Возраст более 30 лет Возраст от 27 до 30 лет Возраст от 24 до 27 лет Возраст от 20 до 24 лет Возраст от 17 до 20 лет Женщина Мужчина
0 20 40 60 80 100
Рис. 1. Статистика по ситуации №1 (взаимосвязь параметров
n - n n n n - n n - n n - n n - n )
n23 n25' 1 2 n3 n7 n8 n14 16 20 П22>
/
Отправитель сообщений нежелательного содержания в социальной
сети -неизвестный пользователь
Отправитель сообщений нежелательного содержания в социальной 1 il
сети -друг
Отправитель сообщений нежелательного содержания в социальной
сети -фейковый аккаунт
Отправитель сообщений нежелательного содержания в социальной
сети -модератор (администратор) социальной сети
Отправитель сообщений нежелательного содержания в социальной
сети -пользователи сообществ социальной сети я Twitter
Количество получаемых сообщений нежелательного содержания - ■ Facebook
более 20 раз
Количество получаемых сообщений нежелательного содержания - от > ВКонтакте
16 до 20 раз
Количество получаемых сообщений нежелательного содержания - от
11 до 15 раз
Количество получаемых сообщений нежелательного содержания - от 4
до 10 раз
Количество получаемых сообщений нежелательного содержания -
менее 3 раз
Количество получаемых сообщений нежелательного содержания - не
получал у
20 40 60 80 № 120
Рис. 2. Статистика по ситуации №1 (взаимосвязь параметров n23 - n2y n42 - n47 П48 - П52)
Таблица 2
Статистика по ситуации №1 (взаимосвязь параметров п1 - п16, п20 - п22, п26 - п31), %
с" с" с" с к" с* с" с" с" с" с" с" с" с" с" с"
с" 61 39 17 35 43 9 - 30 13 43 - 4 9 65 30 4 4 87 9
с" 95 5 19 57 19 14 10 24 24 33 5 0 5 81 19 - 5 76 19
с" 81 19 14 48 29 14 5 29 14 33 5 19 5 81 10 10 5 81 14
с" 83 17 34 41 21 7 3 24 10 48 3 3 3 86 10 3 7 69 24
кт 73 27 27 36 32 5 9 23 9 55 - 9 9 86 14 - 5 86 9
ст 75 25 6 38 50 6 6 6 13 56 6 19 6 81 13 6 13 50 38
Таблица 3
Статистика по ситуации №1 (взаимосвязь параметров п - п , п - п ), %
«42 «43 «44 «45 «46 «47 «48 «49 «50 «51 «52
«26 13 35 30 17 - 4 26 - 39 - 35
«27 19 24 33 10 10 5 38 - 38 - 24
«28 19 33 33 5 10 - 29 - 33 5 33
«29 14 24 41 10 0 10 28 3 34 3 31
«30 5 50 36 - 5 5 55 - 23 - 23
«31 25 31 38 - - 6 13 - 50 - 38
Анализ полученных результатов показал, что в 50 % случаев пользователи сообществ «проблема, беда» социальной сети получали информационные сообщения менее 3-х раз, в 41 % - от 4 до 10 раз получали пользователи сообщества «знакомства». В группе сообщества «обучение» пользователи получают информационные сообщения нежелательного содержания от неизвестных пользователей, фейковых аккаунтов, что говорит о выборе злоумышленником подобного рода групп сообществ для распространения информации. Более чем в 50 % случаев распространением занимаются либо пользователи сообществ «проблема, беда» (55 %), тем самым изыскивая уязвимых пользователей для вовлечения в сомнительные или террористические группы, либо фейковые аккаунты (50 %) в сообществах «бизнес». Анализ позволяет сделать вывод, что отправитель нежелательной информации - мужчина (х>61 %) в возрасте от 20 до 27 лет, с высшим образованием бакалавриата (х10>33 %), холостой (х14>65 %), со средним уровнем знаний в 1Т-сфере (х21>50 %), состоящий в группах сообществ «проблема, беда», «знакомства» или «бизнес».
Таблица 4
Статистика по ситуации №1 (взаимосвязь параметров п1 - п22, п7 - п41), %
0 Г-1 гл 14 О Г-1
с с с с с с с с с с с с с с с с с с с
с" 100 - 40 40 - 20 - 20 40 20 - - - 100 - - 20 40 40
sT 76 24 32 52 24 - 4 24 12 48 - 8 - 80 20 - - 88 12
sT 77 23 11 36 27 11 7 25 11 41 2 5 16 77 16 7 2 80 18
§ с 62 38 15 15 62 - 8 23 - 62 8 8 8 85 15 - 15 85 -
С 75 25 - 42 33 25 - 25 8 42 - 17 8 50 33 17 - 67 33
Таблица 5
Статистика по ситуации №1 (взаимосвязь параметров n - n , n - n ), %
n42 n43 n44 n45 n46 n47 n48 n49 n50 n51 n52
n37 - - 60 - 40 - 40 - 40 - 20
n38 24 16 32 16 4 8 44 - 20 4 32
n39 23 32 32 7 2 5 27 2 41 2 27
n40 8 46 31 15 - - 15 - 46 - 38
n41 8 33 50 - - 8 33 - 17 - 50
Анализ полученных результатов показал, что в 31-60 % случаев пользователи социальной сети получали нежелательные сообщения от 4 до 10 раз за анализируемый период (n44), в 32-46 % - менее 3-х раз. Чаще всего (50 %) отправителем является неизвестный пользователь, имеющий более 1000 друзей в социальной сети; в 46 % случаев - фейковый аккаунт, имеющий от 200 до 500 друзей в социальной сети, в 40 % - меньше 50 друзей. Анализ позволяет сделать вывод, что пользователи, имеющие менее 50 друзей в социальной сети, склонны к распространению нежелательной информации. Можно предположить, что отправитель нежелательной информации в социальной сети - мужчина (n>62 %) в возрасте от 20 до 27 лет (n4>36 %, n5=62 %), с начальным профессиональным (n9=40 %) или с высшим образованием бакалавриат (n10>41 %), холостой (n14>50 %), преимущественно со средним уровнем знаний в IT-сфере (n21>40 %), имеющим менее 50 друзей в социальной сети.
В рамках исследования ситуации № 2 была выявлена взаимосвязь параметров: n23 - n25, п.. - n • n„ - n,„ n,, - n.„ n„ - n • n,„ - n.„ - n,7.
42 58 23 25 26 31 60 63 60 63 26 31
На рис. 3 и в табл. 6-7 представлены статистические данные по ситуации №2 - получение таргетированной информации пользователями социальной сети.
Анализ показал, что чаще всего (44 %) нежелательные сообщения получают пользователи от пользователей сообществ (48 %) социальной сети Twitter с информационным контентом сообщений: 26 % - вовлечение в сомнительные группы, 26 % - спам, 26 % - реклама товаров, услуг. В 35 % случаев нежелательные сообщения получают пользователи социальной сети Facebook от фейковых аккаунтов (40 %) с информационным контентом сообщений: 35 % - спам, 35 % - реклама товаров, услуг. В 34 % случаев нежелательные сообщения получают пользователи социальной сети ВКонтакте от фейковых аккаунтов с предложением рекламы товаров, услуг (31 %). Можно предположить, что фейковые аккаунты социальных сетей Facebook и ВКонтакте рассылают спам и рекламу, а пользователи социальной сети Twitter еще и информацию по вовлечению в сомнительные группы.
Анализ табл. 6, 7 показал, что в группах сообществ «хобби, развлечения» и «знакомства» социальных сетей Twitter и ВКонтакте менее 3 раз имели место быть попытки реализации кибератак (15 %), 10 % - в социальной сети Facebook в
Рис. 3. Статистика по ситуации № 2 (взаимосвязь параметров п23 - п25, п42 - п58)
Таблица 6
Статистика по ситуации № 2 (взаимосвязь параметров п23 - п25, п26 - п31, п6в - п63), %
П26 n27 П28 П29 n30 П31 П59 n60 n61 П62 П63
П23 30 15 26 26 15 11 85 15 - - -
П24 35 5 10 30 15 5 85 5 - - 10
П25 22 24 22 32 22 18 88 9 - - 3
Таблица 7
Статистика по ситуации № 2 (взаимосвязь параметров n26 - n31, n6e - n63), %
Twitter / Facebook / ВКонтакте
П26 П27 П29 П30 n31
n60 7 / 5 / 1 - / - / 3 - / - / 1 7 / - / 4 11 / - / 4 - / - / 4
n63 - / 5 / 1 - / - / - - / 5 / 1 - / - / - - / - / - - / - / -
группе сообществ «хобби, развлечения», в которой более 15 раз злоумышленники пытались реализовать кибератаки. Можно предположить, что чаще всего потенциальные нарушители для реализации кибератак выбирают пользователей, принадлежащих к группам сообществ «хобби, развлечения» социальной сети Facebook, «проблема, беда» социальной сети Twitter, «знакомства» и «бизнес» социальной сети ВКонтакте.
В рамках исследования ситуации №3 была выявлена взаимосвязь параметров: n23 - n25,
В табл. 8-16 представлены статистические данные по ситуации №3 - противодействие и предотвращение распространения таргетированной информации в социальной сети.
n - n ' n - n n - n ' n - n n - n n - n ' n - n n - n ' n - n n - n ' n - n
70 n75' 26 n31' 70 п75' П23 П25' П76 "âP 104 П109' П26 П3Р 76 "81' 26 П3Р П104 П109' П23 П25'
Таблица 8
Статистика по ситуации № 3 (взаимосвязь параметров n23 - n25, n70 - n75), %
«70 «71 «72 «73 «74 «75
«23 52 41 4 - 4 -
«24 85 15 - - - -
65 29 4 - 1 -
Таблица 9
n31, n70 - n75>, %
26
Twitter / Facebook / ВКонтакте
«70 «7, «72 «73 «74 «75
«26 11 / 35 / 12 15 / - / 9 - / 5 / - 4 / - / 1
«27 11 / 5/18 4 / - / 4 - / - / 1 - / - / - - / - / - - / - / -
«28 11 / 10 / 16 11 / - / 4 4 / - / 1 - / - / - - / - / - - / - / -
«29 19 / 25 / 21 7 / 5 / 10 - / - / 1 - / - / - - / - / - - / - / -
«30 7 / 15 / 15 7 / - / 7 - / - / - - / - / - - / - / - - / - / -
«31 - / 5 / 7 11 /-/ 10 - / - / - - / - / - - / - / - - / - / -
Анализ табл. 8, 9 показал, что пользователи анализируемых социальных сетей не обращаются к модераторам (администраторам) с просьбой заблокировать конкретного пользователя сообщества (>52 %), однако в 41 % случаев пользователи социальной сети Twitter, принадлежащие к группе сообществ «хобби, развлечения», обращались с просьбой менее 5 раз к модератору (администратору); в 15 % случаев - пользователи групп сообществ «знакомства», в 10 % - пользователи групп сообществ «знакомства» и «бизнес». Это означает, что пользователи социальных сетей не уделяют должного внимания политике информационной безопасности социальных сетей.
Таблица 10
Статистика по ситуации №3 (взаимосвязь параметров n - n25, n7 - n , n - n 9), %
«76 «77 «78 «79 «80 «8. «104 «105 «106 «107 « «
«21 19 22 30 7 15 7 11 7 44 4 22 11
«21 5 45 35 - 10 5 5 30 30 10 15 10
«25 6 49 25 7 9 4 10 19 40 7 16 7
Таблица 11
Статистика по ситуации №3 (взаимосвязь параметров n26 - n31, n76 - n81), %
Twitter / Facebook / ВКонтакте
«76 «77 «78 «79 «80 «81
«26 4 /5 / 1 15 / 10 / 13 7 / 25/6 - / - / - 4 / - / 1 - / - / -
«27 - / - / - 4 / 5 / 12 4 / - / 4 4 / - / 3 - / - / - 4 / - / 4
«28 4 / - / 1 4 / 5 / 7 7 / 5 / 6 - / - / 1 7 / - / 4 4 / - / 1
«29 7 / - / 3 7 / 15/ 15 4 / 10/4 4 / - / 4 4 / 5 / 3 - / - / 3
«30 4 / - / 1 4 / 5 / 12 - / 10/4 4 / - / 1 - / - / - 4 / - / 3
«31 4 / - / 1 4 / - / 9 4 / 5 / 6 - / - / - - / - / - - / - / 1
Таблица 12
Статистика по ситуации №3 (взаимосвязь параметров n26 - n31, n104 - n109), %
Twitter / Facebook / ВКонтакте
n104 n„5 n„6 n„7 n 108 n 109
n26 7 / - / 3 - / 15 / 1 7 / 10 / 9 - / - / - 7 / 5 / 4 7 / 5 / 4
- / 5 / 1 - / - / 7 4 / - / 4 - / - / 3 11 /-/6 - / - / 1
n28 4 / - / - 4 / 5 / 3 15 / 5/18 - / - / 1 - / - / - 4 / - / -
4 / - / 4 - / 5 / 4 11/5/12 - / 10 / 3 7 / 5 / 6 4 / 5 / 3
n30 4 / - / 4 - / 10 / 3 7 / - / 7 - / - / 1 4 / 5 / 4 - / - / 1
n3, - / - / 1 4 / - / 6 4 / - / 6 - / - / 1 - / - / - 4 / 5 / 3
Анализ табл. 10, 11, 12 показал, что чаще всего (от 5 до 20 раз) в 30 % случаев поступают предложения сделать рассылку сообщений, содержащих нежелательную информацию, модераторам социальной сети Twitter с сообществами составом от 150 до 300 пользователей. Реже (менее 5 раз 49 %) поступают предложения сделать рассылку сообщений, содержащих нежелательную информацию, модераторам социальной сети ВКонтакте с сообществами составом от 150 до 300 пользователей, 45 % - модераторам сети Facebook с сообществами составом от 150 до 300 пользователей. Можно предположить, что потенциальный злоумышленник выбирает для достижения цели - распространения нежелательной информации - модераторов (администраторов) сообществ, имеющих состав от 150 до 300 пользователей. В социальной сети Twitter наиболее уязвимыми оказались сообщества «хобби, развлечения», «религия», в сети Facebook - «хобби, развлечения», в сети ВКонтакте - «религия», «знакомства».
Таблица 13
Статистика по ситуации №3 (взаимосвязь параметров n23 - n25, n94 - n9S), %
n94 n95 n96 n97 n98
n23 15 56 26 4 -
n24 10 15 45 25 5
n25 10 41 34 9 6
Таблица 14
Статистика по ситуации №3 (взаимосвязь параметров n26 - n31, n94 - n9S), %
Twitter / Facebook / ВКонтакте
n94 n95 n96 n97 n98
n26 - / - / 3 4/-/ 10 11/5/10 - / 5 / - - / - / -
n27 4 / 5 / 3 19/ - / 12 4 / - / 3 - / 5 / 3 - / - / 1
n28 4 / 5 / 3 19/ - / 12 4 / - / 3 - / 5 / 3 - / - / 1
n29 7 / - / 4 15/ - / 13 4 / 20/ 10 - / 5 / 3 - / 5 / 1
n30 7 / - / 3 4 / 5 / 12 4 / 10 / 6 - / - / - - / - / 1
n31 - / - / - 11 /-/ 10 - / - / 6 - / - / - - / 5 / 1
Анализ таблиц 13, 14 показал, что пользователи анализируемых социальных сетей обращаются (>41 %) в службу технической поддержки с просьбой заблокировать аккаунт пользователя, распространяющего нежелательную информацию. Чаще всего обращаются пользователи групп сообществ «знакомства» социальных сетей Facebook и ВКонтакте, социальной сети Twitter - сообществ «обучение», «религия».
Таблица 15
Статистика по ситуации № 3 (взаимосвязь параметров n23 - n25, n99 - n103), %
n99 n 100 n101 n102 n103
n23 - 11 11 26 52
n24 - 10 15 25 50
n25 15 4 9 10 44
Таблица 16
Статистика по ситуации № 3 (взаимосвязь параметров n26 - n31, n99 - n103), %
Twitter / Facebook / ВКонтакте
n99 n 100 n101 n102 n103
n26 - / - / - 15 / 20 / 10 4 / - / 3 11 /10/7 - / 5 / 1
n27 - / - / 1 11/5/13 - / - / 3 4 / - / 6 - / - / -
n28 - / - / 1 19 / 5/12 - / - / 1 7 / 5 / 7 - / - / -
n29 - / - / - 11 / 10 / 18 7 / 5 / 6 7 / 5 / 6 - / 10/3
n30 - / - / 1 4 / 10 / 9 7 / 5 / 7 - / - / 1 4 / - / 3
n31 - / - / - 7 / 5 / 12 - / - / 1 4 / - / 3 - / - / 1
Анализ табл. 15, 16 показал, что чаще всего в социальных сетях от 5 до 10 ключевых словосочетаний для фильтрации сообщений (>44 %): в группах сообществ «хобби, развлечение» социальной сети Facebook, сообществ «религия» социальной сети Twitter, сообществ «знакомства» сети ВКонтакте.
Интерпретация результатов исследования демонстрирует, что потенциальный злоумышленник, распространяющий нежелательную информацию с контентом спама, рекламы товаров, услуг, в социальных сетях - это мужчина в возрасте от 20 до 27 лет, с высшим образованием, холостой, со средним уровнем знаний в IT-сфере, имеющий менее 50 друзей в социальной сети и скрывающий свои данные под фейковым аккаунтом. Наиболее уязвимыми являются пользователи, состоящие в группах сообществ «хобби, развлечение», «проблема, беда», «знакомства», «бизнес». Пользователи редко обращаются к модераторам (администраторам) сообществ и в группу технической поддержки в случаях возникновения подозрительных пользователей. Наиболее уязвимыми являются пользователи - модераторы (администраторы) групп сообществ с составом от 150 до 300 пользователей. Количество ключевых словосочетаний для фильтрации нежелательных сообщений (от 5 до 10) недостаточно для обеспечения информационной безопасности социальной сети.
Методика защиты от распространения таргетированной информации в OSN
На основе исследования социальной информации в ситуациях распространения таргетированной информации в OSN предложена методика защиты от распространения
Рис. 4. Структурная схема методики защиты от таргетированной информации
таргетированной информации в OSN (рис. 4), которая представляет собой последовательность шагов [12, 13]:
1. классификация пользователей OSN;
2. защита лидеров OSN;
3. совершенствование правил фильтрации сообщений пользователей;
4. выработка рекомендаций по защите от распространения таргетированной информации в OSN.
Под лидером OSN понимаются пользователи, которые имеют высокий уровень доверия, влияния среди большого числа пользователей сообществ, способные успешно реализовать часть действий сценария атаки злоумышленника, как правило, являющиеся модератором (администратором) сообществ социальной сети. Формально данную методику можно представить следующим образом:
К = {к1, к2, к3, к4} - множество функциональных блоков методики, где кх -классификация пользователей OSN, к3 - защита лидеров OSN, к3 - совершенствование правил фильтрации сообщений пользователей, х2 - выработка рекомендаций по защите
от распространения таргетированной информации в OSN. X = { |/ = 1, - множество
входных параметров, где х2 - образы злоумышленников, х2 - критерии классификации потенциальных злоумышленников, х4 - антивирусное программное обеспечение, х4
- параметры пользователя-лидера OSN, х6 - параметры, характеризующие поведение пользователя-лидера социальной сети, х6 - множество сообщений пользователей, х7 -критерии оценивания информации сообщений пользователей, х9 - правила классификации информационных сообщений пользователей, х9 - правила формирования рекомендаций по защите от таргетированной информации, х10- множество пользователей OSN.
Z = = 1, я| - множество внутренних параметров методики, где z1 - перечень лидеров
OSN; Zз - информационные сообщения о необходимости соблюдения мер безопасности, 23
- аутентификация с использованием технических средств связи, z5 - про фи ль пользователя-лидера OSN, г5 - база данных действий пользователя-лидера OSN, г7 - принятие решений о блокировке аккаунта, 27 - база данных сообщений таргетированной информации, 28
- ожидаемые сообщения пользователя OSN, у1 - нежелательные сообщения пользователя
OSN. Y = {yj у = 1, т - множество выходных параметров методики, где у1 - перечень заблокированных пользователей, у3 - информационное сообщение пользователю
OSN о возможной реализации атаки, у3 - рекомендации о принятии необходимых мер обеспечения информационной безопасности в OSN.
Функциональный блок «Классификация пользователей 0$№> включает:
1) классификацию пользователей на основе образов злоумышленников и выявление подозрительных пользователей - потенциальных злоумышленников;
2) классификацию потенциальных злоумышленников на основе критерия - уровень активности (действий) в отношении пользователей социальных сетей за определенное время ^;
3) принятие решения о блокировании пользователей на основе п. 1 и п. 2 данного функционального блока;
4) классификацию пользователей социальной сети на основе образов «пользователь-лидер социальной сети».
Функциональный блок «Защита лидеров OSN» включает:
1) обучение и предостережение лидеров сети - введение мер по обучению лидеров OSN основам информационной безопасности (аккаунты лидеров являются критическими ресурсами, при получении доступа к которым злоумышленник сможет распространить таргетированную информацию большому числу пользователей) путем рассылки информационных сообщений, содержащих напоминания о необходимости соблюдения мер информационной безопасности.
2) осуществление технических мер защиты: аутентификация с помощью смартфона (телефона), использование антивирусного программного обеспечения, аутентификация с помощью аппаратных средств, автоматическая проверка пароля на соответствие рекомендациям информационной безопасности.
3) анализ поведения лидера в OSN: разработка профиля пользователя (определение параметров пользователей и их граничных значений), создание базы данных действий пользователей, обновление базы данных действий пользователей, классификация поведения пользователя в социальной сети, разработка модели динамического изменения профиля пользователя, алгоритма определения аномального поведения пользователя. В случае если поведение пользователя в сети является аномальным, то осуществляется информационное уведомление о том, что он является подозрительным с последующей блокировкой аккаунта.
Функциональный блок «Совершенствование правил фильтрации сообщений пользователей» декомпозируется на этапы:
1) формирование базы данных сообщений пользователей, содержащих таргетированную информацию, распространяемую в OSN на основе анализа данных заблокированных пользователей;
2) разработка критериев оценивания информации сообщений пользователей;
3) формирование базы правил классификации информации сообщений пользователей;
4) детализация базы данных сообщений пользователей, содержащих таргетированную информацию, и их классификация на ожидаемые и нежелательные на основе критериев оценивания;
5) совершенствование базы правил классификации;
6) разработка модели фильтрации сообщений пользователей OSN.
Функциональный блок «Выработка рекомендаций по защите от таргетированной информации в OSN» декомпозируется на этапы:
1) формирование базы правил выработки рекомендаций по защите от таргетированной информации;
2) информирование пользователя OSN о возможной реализации атаки (вероятность реализации);
3) выработка рекомендаций о принятии необходимых мер обеспечения информационной безопасности.
Перспективы дальнейшего исследования проблемы защиты от таргетированной информации мы видим в детальной проработке методики и разработке на ее основе модели защиты от таргетированной информации. Модель защиты от таргетированной информации в OSN позволит реализовать специальное программное обеспечение для его интегрирования в наиболее распространённые социальные сети, а пользователям повысить безопасность использования личной информации в OSN и не попадаться на уловки злоумышленников. Предполагается, что специальное программное обеспечение будет представлять собой программный модуль-приложение, позволяющее:
- фильтровать личные сообщения пользователей, сообщений-записей (постов) пользователей сообществ социальных сетей на основе модели фильтрации сообщений;
- в автоматизированном режиме блокировать пользователей, рассылающих нежелательную информацию на основе образов злоумышленников, базы правил о блокировании пользователей;
- предоставлять рекомендации администраторам (модераторам) социальных сетей о возможных угрозах реализации атак злоумышленниками и принятии контрмер по предотвращению кибератак в социальных сетях.
Заключение
Предложенная в работе методика защиты от таргетированной информации в OSN позволит предотвратить угрозы информационной безопасности, предотвратить попытки злоумышленников реализовать социоинженерные атаки, разработать модель защиты от таргетированной информации и в дальнейшем реализовать специальное программное обеспечение для его интегрирования в системы Online Social Network. Все это позволит проводить внешний мониторинг событий в OSN, а также осуществлять поиск уязвимостей в механизмах обмена мгновенными сообщениями для возможности реализации атак злоумышленниками, защиту личной информации пользователей социальных сетей. Результаты исследования позволяют сформулировать рекомендации для пользователя OSN по предотвращению инцидентов.
1. Следует с осторожностью относиться к информационному контенту сообщений от пользователей социальной сети Twitter. Чаще всего (44 %) нежелательные сообщения получают пользователи от пользователей сообществ (48 %) социальной сети Twitter с информационным контентом сообщений: 26 % - вовлечение в сомнительные группы, 26 % - спам, 26 % - реклама товаров, услуг. Рекомендуется увеличить количество ключевых словосочетаний для фильтрации нежелательных сообщений.
2. Чаще всего потенциальные нарушители для реализации кибератак выбирают пользователей, принадлежащих к группам сообществ «хобби, развлечения» социальной сети Facebook, «проблема, беда» - социальной сети Twitter, «знакомства» и «бизнес» -социальной сети ВКонтакте. Наиболее уязвимыми являются пользователи социальных сетей, состоящие в группах сообществ «хобби, развлечение», «проблема, беда», «знакомства», «бизнес». Следует избирательнее относиться к сообщениям в группах сообществ «хобби, развлечение», «проблема, беда», «знакомства», «бизнес».
3. Потенциальный злоумышленник выбирает для достижения цели - распространение нежелательной информации - модераторов (администраторов) сообществ, имеющих состав от 150 до 300 пользователей. Рекомендуется проверять информационный контент сообщений для рассылки пользователям сообществ, в случаях возникновения подозрительных пользователей обращаться в группу технической поддержки.
4. Применять и своевременно обновлять средства антивирусной защиты.
5. Обновлять пароль аккаунта не реже 1 раза в месяц.
6. Соблюдать политику безопасности социальных сетей.
Результаты исследования позволяют на новом уровне применять активно развивающийся сегодня сетевой подход к исследованию неформальных сообществ, получая интересные и наглядные результаты.
Л и т е р а т у р а
1. Bradbury D. Spreading fear on facebook. // Network security. - 2012. - PP. 15-17.
2. Kim Hak J. Online social media networking and assessing its security risks. // International journal of security and its applications, 6(3). - 2012. - PP. 11-18.
3. Savage D., Zhang X., Yu Xinghuo., Chou P., Wang Q. Anomaly detection in online social networks. // Social networks, 39. - 2014. - PP. 62-70.
4. Krombholz K., Hobel H., Huber M., Weippl E. Advanced social engineering attacks. // Journal of information security and applications. - 2014. - PP. 1-10.
5. Richard G. B., William B. B., Lewis C. Flying under the radar: social engineering. // International Journal of Accounting & Information Management. - 2012. - PP. 335-347.
6. Justin P. Johnson. Targeted advertising and advertising avoidance. // Journal of Economics. - 2013.
- PP. 128-144.
7. Wang L., Wang M., Guo X., Qin, X. Microblog sentiment orientation detection using user interactive relationship. // Journal of electrical and computer engineering. - 2016. - PP. 167-181.
8. Маркетинг в социальных сетях. URL: https://biz360.ru/materials/380 (дата обращения: 21.06.2017).
9. Доктрина информационной безопасности Российской Федерации. URL: https://rg.ru/2016/12/06/ doktrina-infobezobasnost-site-dok.html (дата обращения: 15.06.2017).
10. Graig R. K. Ideology Isn't Everything: Transnational Terrorism, Recruitment Incentives, and Attack Casualties. // Terrorism and Political Violence. - 2015. - PP. 868-887.
11. Назаров А. Н., Галушкин А. И., Сычев А. К. Риск-модели и критерии информационного противоборства в социальных сетях // T-Comm: Телекоммуникации и транспорт. - 2016. - Т. 10, № 7. - С. 81-86.
12. Тумбинская М. В. Обеспечение защиты от нежелательной информации в социальных сетях // Вестник Мордовского университета. - 2017. - Т. 27, № 2. - С. 264-288.
13. Тумбинская М. В. Обобщенный алгоритм распространения таргетированной информации в системах социальных сетей // Национальные интересы: приоритеты и безопасность. - 2017. - Т. 13, № 3, (348). - С. 584-600.
R e f e r e n c e s
1. Bradbury D. Spreading fear on facebook. // Network security. - 2012. - PP. 15-17.
2. Kim Hak J. Online social media networking and assessing its security risks. // International journal of security and its applications, 6(3). - 2012. - PP. 11-18.
3. Savage D., Zhang X., Yu Xinghuo., Chou P., Wang Q. Anomaly detection in online social networks. // Social networks, 39. - 2014. - PP. 62-70.
4. Krombholz K., Hobel H., Huber M., Weippl E. Advanced social engineering attacks. // Journal of information security and applications. - 2014. - PP. 1-10.
5. Richard G. B., William B. B., Lewis C. Flying under the radar: social engineering. // International Journal of Accounting & Information Management. - 2012. - PP. 335-347.
6. Justin P. Johnson. Targeted advertising and advertising avoidance. // Journal of Economics. - 2013.
- PP. 128-144.
7. Wang L., Wang M., Guo X., Qin, X. Microblog sentiment orientation detection using user interactive relationship. // Journal of electrical and computer engineering. - 2016. - PP. 167-181.
8. Marketing v sotsial'nykh setiakh. URL: https://biz360.ru/materials/380 (data obrashcheniia: 21.06.2017).
9. Doktrina informatsionnoi bezopasnosti Rossiiskoi Federatsii. URL: https://rg.ru/2016/12/06/doktrina-infobezobasnost-site-dok.html (data obrashcheniia: 15.06.2017).
10. Graig R. K. Ideology Isn't Everything: Transnational Terrorism, Recruitment Incentives, and Attack Casualties. // Terrorism and Political Violence. - 2015. - PP. 868-887.
11. Nazarov A. N., Galushkin A. I., Sychev A. K. Risk-modeli i kriterii informatsionnogo protivoborstva v sotsial'nykh setiakh // T-Comm: Telekommunikatsii i transport. - 2016. - T. 10, № 7. - S. 81-86.
12. Tumbinskaia M. V. Obespechenie zashchity ot nezhelatel'noi informatsii v sotsial'nykh setiakh // Vestnik Mordovskogo universiteta. - 2017. - T. 27, № 2. - S. 264-288.
13. Tumbinskaia M. V. Obobshchennyi algoritm rasprostraneniia targetirovannoi informatsii v sistemakh sotsial'nykh setei // Natsional'nye interesy: prioritety i bezopasnost'. - 2017. - T. 13, № 3, (348). - S. 584-600.
