CC BY
72
most efficient and safe, which makes it important to develop a technological map in the process of tunnel construction in a closed way. The article describes the main stages of construction, analysis of possible risks and determination of measures to minimize them, development of a technological map and its approval, training workers on the use of a technological map, and finally control and reporting on the performance of work using a technological map.
Key words: protective screens made of pipes, metal structures, reinforcement frame, leader drilling, shield micromachine, bentonite mortar, auger drilling.
Fatullaev Rustam Seifullayevich, candidate of technical sciences, lecturer, FatullaevRS@mgsu.ru, Russia, Moscow, National Research Moscow State University of Civil Engineering,
Chipova Zarina Husenovna, lecturer, zara4_2011 @mail. ru, Russia, Moscow, Moscow State University of Civil Engineering
УДК 336.71:004.056
DOI: 10.24412/2071-6168-2023-3-423-429
МЕТОД ВЫЯВЛЕНИЯ ДЕСТРУКТИВНОГО КОНТЕНТА В ИНФОРМАЦИОННЫХ ИНТЕРНЕТ-РЕСУРСАХ
В.В. Тельбух, А.В. Десятых, С.С. Андрушкевич, Л.В. Пилипенко
В статье проведен анализ руководящих документов и нормативно-правовых актов, определяющих содержание деструктивной информации, в результате чего сформированы классы деструктивного контента. Предложен метод выявления деструктивного контента в информационных Интернет-ресурсах, на основе комбинированного подхода с использованием Байесовского метода и поиска по словарю. Полученные результаты могут быть использованы различными государственными структурами, задействованными в области обеспечения информационной безопасности и противодействия деструктивному информационному воздействию на население государства.
Ключевые слова: деструктивный контент, методы машинного обучения, классификация, кластеризация, деструктивное информационное воздействие.
Актуальность. В Доктрине информационной безопасности Российской Федерации [1] информационно-психологическое воздействие названо одним из основных негативных факторов, влияющих на государственную безопасность. Отмечается, что зарубежные спецслужбы расширяют масштаб информационного воздействия в различных регионах мира и, прежде всего, на территории России и стран постсоветского пространства. Западные эксперты-аналитики напрямую заявляют [2], что важнейшим аспектом достижения геополитических целей с точки зрения информационного воздействия является манипулирование общественным мнением [1], размытие традиционных, культурно-исторических и нравственных ценностей у населения неугодных стран.
Для достижения этих целей применяется обширный набор инструментов, начиная от использования традиционных средств массовой информации и заканчивая вовлечением в эту деятельность представителей оппозиционных политических сил, религиозных, правозащитных, этнических и других организаций, в том числе маргиналов и радикально настроенных граждан, пользующихся определенным авторитетом у аудитории. Однако наиболее распространенным и экономически выгодным инструментарием являются различные информационно-развлекательные ресурсы в сети Интернет.
На сегодняшний день больше 80 % населения России имеет хоть один зарегистрированный ак-каунт в какой-либо социальной сети, что дает возможность иностранным спецслужбам использовать онлайн ресурсы в качестве эффективного инструмента информационного воздействия. Ярким примером тому служат события, разворачивающиеся вокруг специальной военной операции на территории Украины, наглядно демонстрирующие использование Западом подконтрольных социальных сервисов для распространения пропагандистско-фейковых материалов с целью снижения морально-психологического состояния военнослужащих РФ и разжигания протестной активности населения.
На сегодняшний день нет единого определения «деструктивной информации», однако анализ различных нормативно-правовых актов Российской Федерации дает возможность понять общую направленность данного понятия - информация, которая может причинить вред интересам государства и общества, нарушает права граждан и разрушает целостность личности.
Таким образом существует потребность в своевременном выявлении деструктивного контента, распространяемого в сети Интернет. В рамках достижения данной цели необходимо решить задачу повышения точности классификации деструктивного контента в анализируемых информационных потоках. В рамках решаемой задачи необходимо:
- определить классы деструктивной информации, которые будут рассматриваться в качестве индикаторов деструктивного воздействия;
- провести анализ существующих подходов классификации и предложить новый подход, который улучшит точность идентификации деструктивного контента.
Выдвигается гипотеза, что повышение точности классификации деструктивной информации можно достичь путем сочетания подхода поиска по словарю и Байесовского классификатора.
Формирование классов деструктивного информационного воздействия на основе анализа нормативно-правовых документов. Анализ руководящих документов (РК) и нормативно-правовых актов (НПА) РФ позволил определить возможную направленность деструктивного контента, представляющего потенциальную угрозу безопасности государства и общества. По результатам проведенного анализа определены классы, которые в последующем будем называть индикаторами деструктивного воздействия:
D1 - пропаганда или оправдание террористической или экстремистской деятельности;
D 2 - призывы или оправдания действий оскорбляющих религиозные чувства верующих;
D 3 - пропаганда или призывы к подрыву суверенитета и нарушению территориальной целостности государства;
D4 - разжигание расовой и этнической ненависти либо вражды;
D5 - пропаганда или призывы насильственного изменения конституционного строя;
D6 - пропаганда или реабилитация нацисткой идеологии;
D7 - пропаганда или призывы к развязыванию межгосударственных или внутренних войн;
D8 - осквернение исторической памяти, символов воинской славы или государственных символов;
D9 - пропаганда порнографических материалов, связанных с несовершеннолетними, а также оскорбляющих честь и достоинства человека;
D10 - пропаганда наркотических средств, психотропных веществ или их прекурсоров;
D11 - призывы к возбуждению ненависти, вражды или нарушению общепринятых норм поведения;
D12 - пропаганда или оправдания преступной деятельности и криминальной идеологии.
Исходя из предложенного перечня деструктивных классов необходимо разработать подход, позволяющий идентифицировать тот или иной контент как деструктивный, для чего необходимо сформировать базу деструктивного набора данных.
В рамках проводимых исследований в качестве набора данных используются неструктурированные тексты на естественном языке. Выбор текстовых данных для обработки и анализа обусловлен тем, что большинство информации, распространяемой на различных информационных ресурсах всемирной паутины, представлено в текстовой форме. При этом необходимо отметить, что ввиду формирующегося «клипового» восприятия у пользователей также широкое распространение получили короткие видео ролики, большинство которых могут быть интерпретируемы в виде текстовой информации, отображающий смысл и содержание видео ролика.
Принцип формирования обучающей выборки и выбор методов машинного обучения для решения задачи выявления деструктивного контента. В качестве исходных данных для обучения классификатора и расширения перечня классов деструктивной информации были сформированы наборы текстовых данных публикаций, извлеченных из:
- сайтов, входящих в Единый реестр доменных имен указателей страниц сайтов в сети Интернет и сетевых адресов, содержащие информацию, распространение которой в РФ запрещено (всего 510 880 доменных имен, из них в выборку попали 12 тыс.);
- информационных Интернет-ресурсов, входящих в Реестр иностранных средств массовой информации, выполняющих функции иностранного агента на территории РФ (всего 183 ресурса, из них в выборку попали 56).
Формировании базы данных из материалов обозначенных реестров обусловлено тем, что в реестры входят сайты и организации, ведущие противоправную деятельность или выполняющие функции иностранных агентов на территории РФ.
Выбор алгоритмов кластеризации текстовых данных. В рамках задачи исследования необходимо сформировать классы деструктивной и недеструктивной выборки данных, для этого проведем сравнительный эксперимент для выбора эффективной комбинации алгоритмов кластеризации. В ходе испытаний проверялись алгоритмы и их комбинации: K-means, DBSCAN, HierarchicaD, MBKmeans, Word2vec (Skip-gram), CBOW, TF-IDF. Результаты проведенных экспериментов представлены в таблицах 1-4.
Использование векторизатора Word2vec (реализация Skip-gram)
Алгоритмы ARI AMI Homogenity CompDeteness V-measure SiDhouette
K-means 0.66295 0.727912 0.75418 0.742972 0.739191 0.172097
DBSCAN 0.864003 0.856085 0.87416 0.879096 0.841663 0.168497
HierarchicaD 0.712239 0.827818 0.81246 0.876367 0.852313 0.162195
MBKmeans 0.575174 0.451249 0.74891 0.686901 0.445857 0.115197
Таблица 1
Таблица 2
Использование векторизаотра Word2vec (реализация CBOW)__
Алгоритмы ARI AMI Homogenity CompDeteness V-measure SiDhouette
K-means 0.61231 0.642331 0.62321 0.72352 0.532623 0.142565
DBSCAN 0.79403 0.82680 0.78422 0.85121 0.68731 0.143144
HierarchicaD 0.69124 0.73212 0.66534 0.69234 0.64293 0.131245
MBKmeans 0.59547 0.60013 0.45964 0.56405 0.42352 0.122448
Таблица 3
Использование TF-IDF Vectorizer_
Алгоритмы ARI AMI Homogenity CompDeteness V-measure SiDhouette
K-means 0.610262 0.698193 0.516192 0.654333 0.740767 0.121137
DBSCAN 0.741316 0.632551 0.497439 0.570730 0.6550631 0.136520
HierarchicaD 0.739011 0.619130 0.527356 0.551686 0.640747 0.1401899
MBKmeans 0.671056 0.688158 0.502199 0.546763 0.630923 0.121781
Таблица 4
Векторизатор id2word и DDA_
ADpha/Beta parameters Coherence
0.01/0.60 0.3512
0.3/0.60 0.4362
0.6/0.60 0.3795
0.9/0.60 0.3541
0.01/0.90 0.3255
0.3/0.90 0.3397
0.6/0.90 0.3213
0.9/0.90 0.3178
Время работы рассматриваемых вариантов получения векторного представления и алгоритмов кластеризации, с использованием сформированного датасета, представлено в таблице 5.
Таблица 5
Время работы алгоритмов_
Алгоритм TF-IDF CBOW Skip-gram Id2word
Kmeans 27 24 36 -
DBSCAN 28 30 31 -
DDA - - - 10
HierarchicaD 24 21 25 -
MBKmeans 18 17 21 -
Таким образом, проанализировав результаты эксперимента, можно сделать вывод, что комбинация алгоритмов Word2vec (Skip-gram) и DBSCAN показала лучшие результаты (точность кластеризации в среднем выше на 5-8%). Однако необходимо отметить необходимость большего времени для обучения.
Формирование обучающей выборки классов деструктивной информации методами кластеризации в машинном обучении. Для формирования классов деструктивной информации на основе данных, собранных на запрещенных сайтах (Реестр Роскомнадзора), использовались:
- на этапе кластеризации текстов - алгоритмы Word2vec (Skip-gram) и DBSCAN;
- на этапе формирования словаря деструктивных слов - метод n-грамм, реализованный в библиотеке nDtk в Python.
По результатам проведенного эксперимента была сформирована обучающая выборка деструктивного и недеструктивного контента. База деструктивного контента составлена в результате кластеризации текстовых данных из 12 тыс. сайтов, находящихся в реестре Роскомнадзора, и 56 сайтов, находящихся в реестре иностранных агентов РФ. Обучающая выборка деструктивного контента составлена для классов D1 - D11. Следует отметить, что количество корпусов текстов соответствующих классов сформированы неравномерно, что обусловлено наличием в большей степени тематик, подпадающих под индикаторы D1,D6,D9,D10. Также для каждой сформированной выборки деструктивного контента соответствующего класса, исходя из частотности появления слов, составлены поисковые словари.
Таким образом, используя подход n-грамм был сформирован поисковый словарь, при помощи алгоритмов Word2vec (Skip-gram) и DBSCAN сформирована обучающая выборка деструктивной текстовой информации. На следующем этапе необходимо разработать модифицированный поиск по словарю и классификатор деструктивного контента.
Разработка модифицированного классификатора деструктивного контента на основе существующих методов машинного обучения. В работе [8] проведен сравнительный анализ методов машинного обучения для решения задачи классификации текстовых данных. В качестве требований были выбраны следующие критерии: точность; трудоемкость реализации; быстрота; интерпретируемость; масштабируемость; возможность переобучения. По результатам сравнительного анализа, метод Байеса по большинству критериев показал наиболее адекватные результаты.
Согласно выдвинутой гипотезе, повысить эффективность Байесовского классификатора возможно путем внедрения в его работу модифицированного поиска по словарю - с учетом падежного окончания, склонения, а также использования оценки апостериорного максимума.
Разработка модифицированного поиска по словарю сводится к необходимости определения вероятности принадлежности рассматриваемого слова к деструктивному классу слов [8]. Для этого вводятся ограничения:
Рп - пороговое значение, на основе которого определяется факт наличия деструктивной информации в тексте: Рп £ [0,5; 1];
Рс - показатель отсечения «подозрительных» слов, которые представляют словоформы уже зафиксированных словарных (отличаются от существующих только падежным окончанием или числом): Рс £ [0,5; 0,75).
В результате введенных ограничений, модифицированный словарь позволяет распознавать деструктивные слова с учетом падежного окончания и числа.
Работа байесовского классификатора, модифицированного под задачу выявления деструктивного контента, сводится к определению вероятности сходства признаков анализируемого контента с признаками, входящими в тот или иной класс индикаторов D. Для этого необходимо вычислить вероятность классов и осуществить их выбор на основе максимальных значений вероятности сходства.
Для работы модифицированного Байесовского классификатора его необходимо обучить на наборе данных деструктивного контента, которые являются эталонными, т.е. взяты из Интернет-ресурсов, входящих в Реестр Роскомнадзора.
В процессе подготовки обучающих данных при помощи n-грамм вычисляется частотность встречающихся слов в определенном классе D. Полученный словарь S, соответствует определенному классу D. Переменная XDF является числовой характеристикой встречаемости слов в анализируемых текстах как на обучающейся выборке, так и на анализируемой, благодаря чему байесовский классификатор является самообучаемым [10].
Вводятся переменные: TD - переменная, определяемая количеством текстов, относящихся к определенному классу D; T - переменная, характеризующая общее число текстов в выборке.
В процессе обучения классификатора вычисляются вероятности P(Dn), позволяющие соотнести текст X к определенному классу Dn. При этом переменные TD,XDF,T при каждом анализе классификатором новых данных постоянно обновляются. Таким образом, обучающая выборка при каждой работе классификатора постоянно дополняется, при этом необходимо отметить, что данный подход предполагает возможность работы эксперта предметной области для уточнения обучающей выборки и внесения новых эталонных данных для ее обучения.
Модифицированный Байесовский метод, в котором все неизвестные слова XDF в тексте X являются случайными переменными, анализируются через вероятностный подход. Соотнесение текста подаваемого на вход классификатора к определенному классу D, можно представить в виде следующего алгоритма:
1. Определение показателя отнесения слова Х^ XDF, при Х£ S:
P(X\D)=XDF/ZXDFk, (1)
где Y %DFk - общее количество уникальных слов, принадлежащим набору данных определенного класса D.
2. Использование адаптивного сглаживания (Лапласа), предполагающее (XDF + 1) при Xg D:
P(X\D) = (XDF + iy(XXDPk +YSk), (2)
где Y Sk - переменная, характеризующая количество уникальных слов X в обучающей выборке.
3. Определения показателя отнесения текста Х^ D:
Рфп) = TD/T. (3)
4. Вычисление конечных показателей:
к* = ^¡^[РШ П^РДО)]. (4)
5. Обновление переменных TD,XDF,T и добавление новых слов в словарь S.
6. Присвоение тексту X соответствующего класса D.
Таким образом, предложенный модифицированный Байесовский классификатор позволяет осуществлять идентификацию деструктивного контента поэтапно: по словарю и по показателю апостериорного максимума Х^ D.
Апробация работы модифицированного Байесовского классификатора. Апробация метода идентификации деструктивного контента на основе предварительно обработанных данных и предложенного модифицированного Байесовского классификатора была реализована на языке программирования Python с использованием библиотек NumPy, SciPy, Pandas, Scikit-learn, NLTK.
В качестве исходных данных была сформирована выборка из 200 текстов, размерностью от 1700 до 2100 символов каждый. По результатам работы экспертов предметной области выборка была поделена на две группы:
- 50 текстов, опубликованных на сайтах, находящихся в Реестре Роскомнадзора, и определенные экспертами как деструктивные по индикатору D1;
- 150 текстов различной тематик, не относящиеся к классам деструктивных индикаторов.
В ходе апробации было необходимо обработать каждый текст стандартными методами поиска по словарю и классификации в сравнении с предложенными модифицированными методами. Были выдвинуты следующие гипотезы, которые требуется доказать или опровергнуть:
- гипотеза С0 - в тексте присутствуют индикаторы деструктивного контента, относящиеся к классу 01;
- гипотеза - в тексте отсутствуют индикаторы деструктивного контента, относящиеся к классу 01.
Однако в ходе проверки гипотез могут возникать ошибки I или II рода:
- I рода - ситуация, когда гипотеза С0 принимается ошибочно;
- II рода - ситуация, когда гипотеза принимается ошибочно.
Также для сравнения точности классификации модифицированного байесовского классификатора с другими подходами на сформированной выборке деструктивных и недеструктивных текстов была обучена модель логистической регрессии. Обобщенные результаты эксперимента проведены в таблице 6.
Таблица 6
Результаты эксперимента ___
Методы Со Сг Р/К"
Эталонное оценивание 50 0 150 0 50 150 1
Поиск по словарю (№ граммы) 30 20 111 39 50 150 -
Модифицированный словарь 44 6 132 18 50 150 -
Логистическая регрессия 43 7 127 23 50 150 Р = 0,793
Обычный Байесовский классификатор 39 1 128 22 50 150 Р = 0,756
Модифицированный Байесовский классификатор 47 3 142 8 50 150 К" = 0,91
Исходя из полученных результатов можно сделать вывод, что равенство с учетом ошибок I и II рода выполняется, так как итоговые значения С0 + С0м = 50, С1 + С1Ы = 150, что соответствует начальной выборке для проверки эффективности предлагаемых подходов. Таким образом, предлагаемые подходы однозначно классифицируют анализируемые тексты, хотя имеются погрешности в виде ошибок I и II рода.
Применение итогового усредненного значения апостериорного максимума, полученное модифицированным классификатором, на 10% улучшило результат в сравнении с логистической регрессией и на 14% обычного байесовского классификатора.
Заключение. В результате комплексного анализа предметной области обнаружения деструктивного контента в потоках текстовой информации, публикуемой на информационно-развлекательных ресурсах сети Интернет, сформированы классы деструктивного контента, которые могут быть использованы в дальнейших исследованиях для расширения предметных областей классификации, т.е. на их основе возможно применение онтологий или деревьев решений, что должно позволить нивелировать недостатки методов машинного обучения, связанных с переобучением нейросетевых моделей и недостаточностью обучающей выборки.
Комбинированный подход с использованием модернизированного Байесовского метода и поиска по словарю позволил повысить точность классификации деструктивной текстовой информации по сравнению с другими подходами на 14%.
Предложенный в работе метод может быть использован различными государственными структурами, задействованными в области обеспечения информационной безопасности и противодействия деструктивному информационному воздействию на население государства.
Список литературы
1. Юрьева А. Б., Гамова Ю. В. Современная доктрина информационной безопасности российской федерации //Академия педагогических идей Новация. Серия: Студенческий научный вестник. 2019. №. 4. С. 417-422.
2. Карпухина Т. П. Информационная война против России в современных англоязычных СМИ // Вопросы общего языкознания, семасиологии и лингвистики текста. 2019. С. 105-110.
3. Байгузин Р. Н., Боброва О. В., Подберёзкин А. И. Вопросы противления угрозам подрыва государственности России на современном этапе.
4. Глибовец И. С. Вестник университета прокуратуры российской федерации //Вестник университета прокуратуры российской федерации Учредители: Федеральное государственное казенное образовательное учреждение высшего образования" Университет прокуратуры Российской Федерации". № 3. С. 57-64.
5. Ahuja R. et al. Classification and clustering algorithms of machine learning with their applications //Nature-inspired computation in data mining and machine learning. - Springer, Cham, 2020. С. 225-248.
6. Suen C. Y. N-gram statistics for natural language understanding and text processing //IEEE transactions on pattern analysis and machine intelligence. 1979. №. 2. С. 164-172.
7. Байдулова Д. Р., Гостюнина В. А., Давидюк Н. В. Классификация текстовой информации с применением интеллектуальной обработки данных // Студенческая наука для развития информационного общества. 2019. С. 108-118.
8. Давидюк Н. В., Гостюнина В. А., Байдулова Д. Р. Интеллектуальный алгоритм идентификации деструктивной информации в тексте // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2019. №. 2. С. 29-39.ъ
9. Maritz J. S., Lwin T. Empirical bayes methods. Chapman and Hall/CRC, 2018.
10. Байдулова Д. Р., Гостюнина В. А., Давидюк Н. В. Классификация текстовой информации с применением интеллектуальной обработки данных // Студенческая наука для развития информационного общества. 2019. С. 108-118.
Тельбух Вячеслав Владимирович, адьюнкт, vka@mil.ru, Россия, Санкт-Петербург, Военно-космическая академия имени А. Ф.Можайского,
Десятых Александр Владимирович, адьюнкт, Россия, Санкт-Петербург, Военно-космическая академия имени А. Ф.Можайского,
Андрушкевич Сергей Станиславович, доцент, Россия, Санкт-Петербург, Военно-космическая академия имени А. Ф.Можайского,
Пилипенко Людмила Викторовна, научный сотрудник военного института (научно-исследовательского), Россия, Санкт-Петербург, Военно-космическая академия имени А. Ф.Можайского
METHOD OF IDENTIFYING DESTRUCTIVE CONTENT IN INTERNET INFORMATION RESOURCES V.V. Telbukh, A.V. Deshikh, S.S. Andrushkevich, L.V. Pilipenko
The paper analyzes the governing documents and regulatory legal acts defining the content of destructive information, as a result of which classes of destructive content are formed. A method of identifying destructive content in Internet information resources based on a combined approach is proposed using the Bayesi-an method and dictionary search. The results obtained can be used by various state structures involved in the field of information security and countering destructive information impact on the population of the state.
Key words: destructive content, machine learning methods, classification, clustering, destructive information impact.
Telbukh Vyacheslav Vladimirovich, postgraduate, vka@mil.ru, Russia, St. Petersburg, Military Space Academy named after A.F. Mozhaisky,
Tenth Alexander Vladimirovich, postgraduate, Russia, St. Petersburg, Military Space Academy named after A.F.Mozhaisky,
Andrushkevich Sergey Stanislavovich, docent, Russia, St. Petersburg, Military Space Academy named after A.F.Mozhaisky,
Pilipenko Lyudmila Viktorovna, researcher at the military institute (research institute), Russia, St. Petersburg, Military Space Academy named after A.F.Mozhaisky
