CC BY
11
used to develop marketing strategies for the region and promote the tourism product of the Northern Kuril Islands.
Keywords: territorial identity, territory brand, Northern Kuril Islands, Sakhalin region, sea otter
Ponomareva Irina Yuryevna, candidate of technical sciences, docent, professor, head of the department, [email protected], Russia, Tula, Tula State University
Tankieva Tamara Akhmetovna., candidate of technical sciences, docent, [email protected], Russia, Tula, Tula State University
Evseeva Margarita Igorevna, student of the master's program, knopka.margarita@,mail.ru, Russia, Tula, Tula State University
УДК 316.772.5 DOI: 10.24412/2071-6141-2023-4-119-131
ИНСТРУМЕНТАЛЬНЫЕ ПОДХОДЫ К ОПРЕДЕЛЕНИЮ ВОЗРАСТНОЙ ГРУППЫ РЕСПОНДЕНТОВ СОЦИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ В СОЦИАЛЬНЫХ СЕТЯХ
Н.В. Проказина, С.В. Шекшуев, П.А. Шеманаев
Современные социальные медиа стали глобальной платформой, где миллионы людей активно общаются, делятся информацией и выражают свои мнения. Данные, содержащиеся там, имеют огромный потенциал для анализа социальных процессов, выявления трендов, настроений и предпочтений населения. Следовательно, существенно возрастает не только востребованность проведения социологических исследований в социальных медиа, но и актуализируются вопросы обеспечения репрезентативности социологических исследований, полученных в цифровой среде.
Ключевыми признаками, обеспечивающими репрезентативность данных социологических исследований, выступают половозрастные характеристики респондентов. Этот вопрос приобретает особую актуальность при организации социологических исследований в социальных сетях: как обеспечить репрезентативную выборку пользователей социальной сети, корректно разбитую по половозрастному признаку.
Целью статьи является обоснование и разработка инструментального подхода к определению возрастной группы пользователей социальной сети для обеспечения репрезентативности социологических исследований на основе междисциплинарного подхода. В настоящей работе предлагается подход, основанный на применении методов машинного обучения для оценки принадлежности пользователя социальной сети к возрастной группе. Он предполагает непрерывный мониторинг учетных записей социальной сети и сбор данных, формирующих «цифровой след» пользователя. Разработанная, обоснованная, подтверждённая и экспериментально апробированная модель позволяет различать пользователей двух возрастных групп (моложе 25 лет и старше)
с эффективностью, выраженной через F-меру, равной 0,84. Таким образом, авторская модель позволяет определять возрастную группу, однако определение пола пользователя социальной сети в данной работе не рассматривается и представляет собой следующую исследовательскую задачу.
Ключевые слова: социальные сети, цифровой след, машинное обучение, возрастная группа, социологическое исследование.
Введение
Современное информационное общество детерминирует развитие и активное использование новых технологий, инструментов, методов социологических исследований, которые позволяют оперативно и объективно получать данные о социальных явлениях и процессах.
Цифровые платформы, предоставляющие данные для социологических исследований, также предоставляют интерфейсы для использования современных технологий для сбора и обработки данных, включающих, в том числе, технологии искусственного интеллекта и машинного обучения. Следовательно, анализ данных и выявление скрытых паттернов становятся более доступными, позволяя более точно и глубже понимать социальные явления и процессы. Использование цифровых медиа для социологических исследований дает уникальную возможность исследования общества в его цифровой форме. Это помогает развивать наши знания о социальной реальности, обогащать наши теоретические модели и принимать более обоснованные и информированные решения на основе данных из реального мира.
Социологические исследования в социальных сетях позволяют исследователям получить доступ к широкому кругу пользователей различных возрастов, культур и социальных групп. Это предоставляет уникальную возможность изучать разнообразные аспекты общественной жизни, такие как политические взгляды, потребительское поведение, социальные связи и многое другое. Кроме того, в социальных медиа можно наблюдать в реальном времени за обсуждениями, трендами и динамикой сообществ, что помогает оперативно отслеживать изменения и развитие общества.
Одним из ключевых факторов, определяющих качество социологических исследований, является определение выборочной совокупности. Проблема обеспечения выборки исследования, которые наиболее точно соответствуют заданным критериям и обеспечивают репрезентативность полученных данных в условиях проведения исследований в социальных сетях - одна из актуальных и требующих поиска новых инструментов и практик задач.
Несмотря на активное проведение социологических исследований в социальных сетях, особую актуальность приобретают вопросы, связанные с обеспечением репрезентативности выборок проводимых исследований.
Отдельного внимания заслуживает подготовка выборки потенциальных респондентов социологических исследований. Под респондентом в социальном медиа следует понимать отдельно взятую учетную запись (ак-
каунт). Здесь следует выделить несколько проблем, связанных с их идентификацией.
Во-первых, в социальных медиа достаточно много фейковых акка-унтов, аккаунтов-дублей, а также ботов. Процесс выявления такого рода учетных записей выходит за рамки данной статьи. Следует лишь сказать, что проблема не новая и существует множество работ по данной теме, как отечественных [1, 5, 6, 10], так и зарубежных [14-15].
Во-вторых, не всегда можно достоверно узнать местоположение ак-каунта - зачастую невозможно определить не только город, но и регион, где может проживать лицо, владеющее конкретной учетной записью. На сегодняшний день существуют исследования, как российские [3, 8], так и зарубежные [13, 16], в данном направлении.
В-третьих, для формирования выборки требуется разбиение респондентов по половозрастному признаку, что является нетривиальной задачей. Авторы считают, что на данной проблеме следует остановиться более подробно.
Целью статьи является обоснование и разработка инструментального подхода к определению возрастной группы пользователей социальной сети для обеспечения репрезентативности социологических исследований на основе междисциплинарного подхода.
Методология и методы
В качестве источника данных для анализа была выбрана социальная сеть УК, поскольку является одной из наиболее популярных и многочисленных среди пользователей в России и СНГ, что делает ее важным источником данных для социологических исследований. В данной социальной сети были выбраны 5 сообществ, отнесенных к г. Орлу Орловской области, выбранных по максимальному количеству пользователей в них по состоянию на 30.06.2023 года. Сообщества указаны в табл. 1.
Таблица 1
Сообщества VK
Название ияь Количество участников
Город Орел! Орловчане ВКонтакте https://vk.com/vk orel 277064
«АВТОСТИКЕР» - Наклейки на авто | Аксессуары https://vk.com/autosticker57 127882
ИНЦИДЕНТ ОРЁЛ https://vk.com/orel onlain 118180
Найди меня - Орёл https://vk.com/naidi orel 96764
Интересный город Орел Орловчане! https://vk.com/interesting orel 89891
Авторами был проведен частотный анализ данных пользователей указанных сообществ. Исходный код программного средства, которое бы-
ло использовано для данного анализа, размещен в репозитории GitHub [20]. В результате проведенного частотного анализа были получены следующие результаты.
аи1оз1юкег57 оге1 оп1ат
Сообщество УК
Рис. 1. Соотношение пользователей, указавших свой возраст, к общему их количеству
Примерно половина пользователей каждого из сообществ не указала свой возраст (рис. 1). Под неуказанием возраста понимается либо вообще отсутствие открытой информации о дате рождения, либо наличие дня рождения без года. При этом судить об истинности указанных возрастов невозможно.
ук оге1 аи1оэискег57 оге1 оп1ат па1сИ_оге1 ШегезИпдоге!
Сообщество УК
Рис. 2. Соотношение пользователей, имеющих лица на фото, к общему их количеству
Все пользователи указанных сообществ имеют фотографию (ава-тар) (рисунок 2). Однако у менее трети из них присутствует человеческое лицо. Само собой, определить принадлежность лица на фото реальному пользователю не всегда возможно. То есть можно сказать, что по фотографии невозможно определить возраст у более чем двух третей пользователей.
Авторы считают перспективными методы, основанные на анализе поведения пользователя в социальной сети, его цифрового следа. Подход не новый, он указывается, во многих работах, например, в исследовании Я.А. Ледовой, Р.В. Тихонова, О.Н. Боголюбовой [7]. Практически любая компьютерная платформа социальной сети имеет в открытом доступе такую информацию, как, например, находится ли пользователь онлайн или нет, сколько у него друзей (подписчиков), в каких сообществах он состоит, оставлял ли он комментарии, лайки или просматривал ли публикации, и пр. Используя эти данные как в «сыром» виде, так и преобразуя их, можно составить «цифровой отпечаток» каждого пользователя.
Результаты
В ходе исследования был проведен эксперимент по разработке модели машинного обучения для определения возрастной группы пользователей УК. Эксперимент включал в себя сбор данных о 200 пользователях УК, возраст которых достоверно известен, в течение недели. На данной выборке была обучена модель определения возрастной группы.
В целях демонстрации того, что данных подход работает, а также в целях экономии ресурсов были выбраны две возрастные группы, а именно пользователи младше 25 лет и старше.
Каждый элемент выборки содержит признаки, представленные в табл. 2. Следует обратить внимание, что набор признаков не является исчерпывающим. Более того, для улучшения точности модели следует обратить внимание на их увеличение.
Таблица 2
Набор признаков для модели
№ Метка признака Описание
1 class Метка класса
2 has photo Если ли фото у пользователя
3 followers count Количество подписчиков пользователя
4 has occupation Если ли место работы у пользователя
5 friends count Количество друзей пользователя
6 online Сколько раз пользователь был в сети за время наблюдения
Продолжение табл. 2
№ Метка признака Описание
7 comm ents_count Среднее количество комментариев, оставленных пользователем
8 comm ent_stickers_count Среднее количество стикеров в комментариях, оставленных пользователем
9 comment text length Средняя длина комментария пользователя
10 mean friend online Сколько в среднем друзья пользователя были в сети за время наблюдения
11 min friend online Сколько минимум друзья пользователя были в сети за время наблюдения
12 max friend online Сколько максимум друзья пользователя были в сети за время наблюдения
13 mean_friend_age Средний возраст друзей пользователя (если указан)
14 min_friend_age Минимальный возраст друзей пользователя (если указан)
15 max_friend_age Максимальный возраст друзей пользователя (если указан)
16 mean_friend_has_photo Среднее количество друзей пользователя, у которых имеется фото
17 min_friend_has_photo Минимальное количество друзей пользователя, у которых имеется фото
18 max_friend_has_photo Максимальное количество друзей пользователя, у которых имеется фото
19 mean_friend_followers_count Сколько в среднем подписчиков у друзей пользователя
20 min friend followers count Сколько минимум подписчиков у друзей пользователя
21 max_friend_followers_count Сколько максимум подписчиков у друзей пользователя
22 mean_comments_count Среднее количество комментариев к публикациям в группах, в которых состоит пользователь
23 min comments count Минимальное количество комментариев к публикациям в группах, в которых состоит пользователь
24 max_comm ents_count Максимальное количество комментариев к публикациям в группах, в которых состоит пользователь
25 mean_has_attachments Среднее количество вложений (фото, видео и пр.) к публикациям в группах, в которых состоит пользователь
26 min_has_attachments Минимальное количество вложений (фото, видео и пр.) к публикациям в группах, в которых состоит пользователь
27 max_has_attachments Максимальное количество вложений (фото, видео и пр.) к публикациям в группах, в которых состоит пользователь
Окончание табл. 2
№ Метка признака Описание
28 mean_likes_count Среднее количество лайков к публикациям в группах, в которых состоит пользователь
29 min likes count Минимальное количество лайков к публикациям в группах, в которых состоит пользователь
30 max_likes_count Максимальное количество лайков к публикациям в группах, в которых состоит пользователь
31 mean_reposts_count Среднее количество репостов публикаций в группах, в которых состоит пользователь
32 min_reposts_count Минимальное количество репостов публикаций в группах, в которых состоит пользователь
33 max_reposts_count Максимальное количество репостов публикаций в группах, в которых состоит пользователь
34 mean_views_count Среднее количество просмотров публикаций в группах, в которых состоит пользователь
35 min_views_count Минимальное количество просмотров публикаций в группах, в которых состоит пользователь
36 max_views_count Максимальное количество просмотров публикаций в группах, в которых состоит пользователь
Поскольку выборка содержит 36 признаков, т.е. 36 измерений, перенести ее в графический вид невозможно. Вместе с тем применив метод главных компонент и перейдя в пространство с двумя признаками, можно построить двумерный график (рис. 3).
Младше 25 лет Старше 25 лет
О 5 10 15 20 25 30 35
Признак 1
Рис. 3. Визуализация данных после применения метода главных компонент
Поскольку после применения метода главных компонент получаются искусственные признаки, получить полезную информацию из значений «Признак 1» и «Признак 2» невозможно. Однако, на рис. 3 видна разница между классами пользователей до 25 лет и старше, и это означает, что разница между классами в исходном 36-мерном пространстве также имеется.
В качестве алгоритма для модели был выбран градиентный бустинг, конкретно одной из существующих на сегодняшний день успешных и популярных его реализаций - алгоритм XGBoost [18]. Он использует все преимущества бустинга, при этом его программная реализация позволяет распараллеливать обучение деревьев. Кроме того, в него встроены механизмы кросс валидации и механизмы работы с разреженными данными.
Исходный код программного средства обучения модели размещен в репозитории GitHub [19]. Точность функционирования модели (ее F1-мера) составила около 0.84, что по меркам машинного обучения является неплохим результатом.
Проведенный эксперимент показал, что «наличие информационного следа актора или группы акторов социальной сети наряду с ее свойством эмерджентности позволяет путем анализа получать информацию, изначально неявную для потребителя. Например, механизмы распространения таргетинговой рекламы в социальных сетях работают как раз по этому принципу: конкретному пользователю будет показана только та реклама, которая может быть ему интересна исходя из его активности в сети. То есть платформа социальной сети, изначально созданная для обмена информацией между пользователями, в настоящее время предлагает механизмы для выявления интересов конкретных пользователей» [11].
Само собой данный подход не лишен недостатков. Авторы выделяют два основных. Во-первых, существует необходимость сбора эталонного набора «цифровых отпечатков». В терминологии машинного обучения это называется обучающая выборка. Соответственно, необходимо иметь некий список пользователей, чей возраст известен достоверно, и по ним собрать обучающую выборку. Во-вторых, для сбора информационного следа необходимо время. Поэтому теоретически необходимо заранее иметь данные по потенциальным респондентам социологического исследования.
Обсуждение
В последние годы большое количество исследований связано с поиском новых инструментальных подходов к определению возрастной группы пользователей социальной сети.
Очевидным решением проблемы определения возраста является использование открытой информации из их страниц, такой' как дата рожде-
ния, фотографии, информация об образовании и работе. Однако, далеко не все пользователи указывают данную информацию в принципе, и тем более правильную информацию о себе. Кроме того, данный метод является крайне трудоемким для больших исследований.
Распространен подход оценки возрастной группы путем анализа социального графа. Системно этот подход представлен в работах В.О. Чеснокова [11]. В исследованиях К.А. Вараксиной [2] представлен анализ нескольких методов определения возраста, основанных на поиске средствами самой цифровой платформы, на приращении друзей и на анализе списка подписок. А в работе В.Д. Олисеенко и А.А. Корепанова [9] представлен подход к восстановлению возраста пользователя социальной сети с помощью анализа сообществ, на которые он подписан. Достоинства и недостатки каждого из подходов указаны в соответствующих или смежных работах.
Также привлекательными выглядят методы автоматического определения возраста на основе анализа текстов или изображений. В социальных сетях пользователи оставляют много текстовой информации, например, в комментариях, статусах, сообщениях и т.д. Возможно проводить анализ использования слов и фраз, которые могут быть характерны для различных возрастных групп. Аналогично, поскольку в социальных сетях пользователи также публикуют много фотографий, то их можно использовать для определения признаков, характерных для различных возрастных групп, например, наличие морщин, цвет волос, пропорции лица и т.д. Похожий подход описан в работе А.С. Гроничкина [4].
Авторы находят данные методы не самыми перспективными, поскольку их эффективность, очевидно, зависит от того, насколько много публичной информации укажут о себе пользователи. Проведенный авторами частотный анализ подтверждает выдвинутые тезисы о недостатках.
Заключение
Активное проведение социологами онлайн исследований как количественных, так и качественных, обеспечивает оперативное получение разнообразных данных о социальных процессах и явлениях, мнениях и предпочтениях различных групп населения. Такие исследования позволяют составить системное представление об обществе в целом, особенностях потакающих процессов и явлений, и выявления ключевых тенденций.
Авторами статьи был предложен один из способов решения актуальной задачи: обеспечения репрезентативности социологических исследований, полученных в цифровой среде. Авторский подход основан на применении методов машинного обучения для оценки принадлежности пользователя социальной сети к возрастной группе. Он предполагает непрерывный мониторинг учетных записей социальной сети и сбор данных,
формирующих «цифровой след» пользователя. Разработанная, обоснованная, подтверждённая и экспериментально апробированная модель позволяет различать пользователей двух возрастных групп (моложе 25 лет и старше) с эффективностью, выраженной через F-меру, равной 0,84. Следовательно, авторская модель позволяет определять возрастную группу респондентов социальной сети.
Перспективными в свете изложенного является поиск инструментальных подходов, позволяющих разделить возрастную группу на более мелкие, для выявления поколенческих различий, так и определить половую принадлежности респондентов.
Нельзя сказать, что предлагаемый подход к определению возрастных групп является совершенным и позволяет снять все противоречия, однако он определенно более эффективный, чем существующие, а его использование совместно с существующими методами может повысить эффективность решения задачи обеспечения репрезентативности социологических исследований в цифровой среде.
Список литературы
1. Алымов А.С., Баранюк В.В., Смирнова О.С. Детектирование бот-программ, имитирующих поведение людей в социальной сети «ВКонтак-те» // International Journal of Open Information Technologies. 2016. Т. 4. №. 8. C. 55-60.
2. Вараксина К.А. Практические способы определения возраста пользователя социальной сети «ВКонтакте» // Безопасные информационные технологии. Сборник трудов Восьмой всероссийской научно-технической конференции. НУК «Информатика и системы управления» / под. ред. М.А. Басараба. М.: 2017.
3. Ганиев Т.И., Гибадуллин Р.Ф. Применение латентно-семантического анализа и машинного обучения для определения местоположения пользователя социальной сети // Цифровая культура открытых городов. Материалы Международной научно-практической конференции студентов, аспирантов и молодых ученых. Управление культуры Администрации города Екатеринбурга. Екатеринбург: Муниципальное бюджетное образовательное учреждение высшего образования «Екатеринбургская академия современного искусства», 2018.
4. Гроничкин А.С. Система определения возраста пользователя мобильного устройства для ограничения доступа к контенту и реализации технологии таргетированной рекламы // Тезисы докладов XVI Международной телекоммуникационной конференции молодых ученых и студентов: в 3 частях. Ч. 3. М.: Национальный исследовательский ядерный университет «МИФИ», 2013.
5. Кавеева А.Д., Гурин А.Е. Искусственные профили «ВКонтакте» и их влияние на социальную сеть пользователей // Журнал социологии и социальной антропологии. 2018. Т. 21. № 2. С.214-231. https://doi.org/10.31119/jssa.2018.21.2.8
6. Кочкаров А.А., Калашников Н.В., Кочкаров Р.А. Выявление ботов в социальных сетях на примере LiveJournal // Мир новой экономики. 2020. Т. 14. №2. С.44-50. DOI: 10.26794/2220-6469-2020-14-2-44-50
7. Ледовая Я.А., Тихонов Р.В., Боголюбова О.Н. Социальные сети как новая среда для междисциплинарных исследований поведения человека // Вестник СПбГУ. Психология и педагогика. 2017. Т. 7. Вып. 3. С. 193-210. https://doi.org/10.21638/11701/spbu16.2017.301
8. Намиот Д.Е., Макарычев И.П. Об альтернативной модели отметки местоположения в социальных сетях // International Journal of Open Information Technologies. 2020. Т. 8. № 2. С. 74-90.
9. Олисеенко В.Д., Корепанова А.А. Восстановление возраста пользователей: анализ сообществ // Нечеткие системы, мягкие вычисления и интеллектуальные технологии НСМВИТ-2020. Труды VIII Международной научно-практической конференции. В 2 томах. Том 2. Смоленск: Универсум, 2020.
10. Платонов К.А., Юдина Г.И. Методика определения ботов влияния в новостных группах в социальной сети «Вконтакте» // Четвертая промышленная революция: реалии и современные вызовы. Х юбилейные Санкт-Петербургские социологические чтения. Сборник материалов Международной научной конференции. СПб.: 2018.
11. Чесноков В.О. Предсказание атрибутов профиля пользователя социальной сети путем анализа сообществ графа его ближайшего окружения // Вестник МГТУ им. Н.Э. Баумана. Приборостроение. 2017. № 2. C. 66-76. DOI: 10.18698/0236-3933-2017-2-66-76
12. Шекшуев С.В., Проказина Н.В. Коммуникативно- информационные технологии оценки социальных процессов на региональном уровне // Среднерусский вестник общественных наук. 2023. Т. 18. № 2. С. 49-73.
13. Aneja N., Gambhir S. Profile-Based Ad Hoc Social Networking Using Wi-Fi Direct on the Top of Android //Mobile Information Systems. 2018. Т. 2018.
14. Aiding the Detection of Fake Accounts in Large Scale Social Online Services / Q. Cao, M. Sirivianos, X. Yang, T. Pregueiro // Proceedings of the 9th USENIX conference on Networked Systems Design and Implementation: 1-15. 2012.
15. Chavoshi N., Hamooni H., & Mueen A. (2016, December). DeBot: Twitter Bot Detection via Warped Correlation. In ICDM. [Электронный ресурс]. URL: https://www.researchgate.net/publication/308021270 DeBot Twitt er Bot Detection via Warped Correlation (дата обращения: 30.06.2023).
16. Cho Eunjoon, Seth A. Myers and Jure Leskovec. Friendship and mobility: user movement in location-based social networks. Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2011.
17. The DARPA Twitter bot challenge / V. S. Subrahmanian, A. Azaria, S. Durst, V. Kagan, A. Galstyan, K. Lerman, F. Menczer et. al. // Computer. 2016. Vol. 49. № 6. P. 38-46.
18. XGBoost Documentation, [Электронный ресурс]. URL: https://xgboost.readthedocs.io/en/latest/ (дата обращения: 30.06.2023).
19. Блокнот для обучения модели XGBoost для определения возрастной группы пользователя VK [Электронный ресурс]. URL: https://github.com/shekshuev/vk-age-detection/ (дата обращения: 30.06.2023).
20. Блокнот для определения соотношения пользователей в группах VK [Электронный ресурс]. URL: https://github.com/shekshuev/vk-users-age-stat (дата обращения: 30.06.2023).
Проказина Наталья Васильевна, д-р социол. наук, проф., [email protected], Россия, Орел, Российская академия народного хозяйства и государственной службы при Президенте РФ, Среднерусский институт управления - филиал,
Шекшуев Сергей Васильевич, преподаватель, [email protected], Россия, Орел, Академия ФСО России,
Шеманаев Петр Анатольевич, сотрудник, chyvimas13@,gmail.com, Россия, Орел, Академия ФСО России
INSTRUMENTAL APPROACHES TO THE AGE GROUP DEFINITION OF SOCIOLOGICAL RESEARCH RESPONDENTS IN SOCIAL MEDIA
N.V. Prokazina, S.V. Shekshuev, P.A. Shemanaev
Modern social media has become a global platform where millions of people actively communicate, share information and express their opinions. The data contained there has great potential for analyzing social processes, identifying trends, moods and preferences of the population. Consequently, not only the demand for conducting sociological research in social media is significantly increasing, but the issues of ensuring the representativeness of sociological research obtained in the digital environment are also being updated.
The key features that ensure the representativeness of sociological research data are the gender and age characteristics of the respondents. This issue is of particular relevance when organizing sociological research in social networks: how to ensure a representative sample of social network users, correctly broken down by age and gender. The purpose of the article is to substantiate and develop an instrumental approach to determining the age group of social network users to ensure the representativeness of sociological research. This paper proposes an approach based on the use of machine learning methods to assess the age group
of a social network user. It involves continuous monitoring of social network accounts and the collection of data that forms the user's «digital footprint». The developed, substantiated, confirmed and experimentally tested model makes it possible to distinguish between users of two age groups (under 25 and older) with an efficiency expressed through an F-measure equal to 0.84. Thus, the author's model makes it possible to determine the age group, however, determining the sex of a social network user is not considered in this work and represents the following research task.
Keywords: social media, digital footprint, machine learning, age group, sociological research.
Prokazina Natalya Vasilyevna, doctor of sociological sciences, professor, [email protected], Russia, Oryol, Central Russian Institute of Management, Branch of The Russian Presidential Academy of National Economy and Public Administration
Shekshuev Sergey Vasilyevich, lecturer, sergei.shekshuev@,gmail.com, Russia, Oryol, Russian Federation Security Guard Service Federal Academy,
Shemanaev Petr Anatolyevich, employee, chyvimas13@,gmail.com, Russia, Oryol, Russian Federation Security Guard Service Federal Academy
