КЛАССИФИКАЦИЯ АЛГОРИТМОВ КЛАССИФИКАЦИИ И КЛАСТЕРИЗАЦИИ СИГНАЛОВ ОТ ЛЕТАТЕЛЬНЫХ АППАРАТОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.02

Информационные технологии

Артюхин Николай Павлович, студент 3 курса кафедры «Программное обеспечение ЭВМ и информационные технологии» МГТУ им. Н. Э. Баумана, Москва, Российская Федерация

КЛАССИФИКАЦИЯ АЛГОРИТМОВ КЛАССИФИКАЦИИ И КЛАСТЕРИЗАЦИИ СИГНАЛОВ ОТ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

Аннотация: Предметом рассмотрения в данной статье являются задачи классификации и кластеризации сигналов от летательных аппаратов. Проводится анализ предметной области и существующих алгоритмов классификации и кластеризации сигналов, формулируются критерии сравнения алгоритмов классификации и кластеризации сигналов, по критериям производится их классификация, определяется оптимальный по совокупности критериев алгоритм и предлагается новый. Цель статьи - сравнительный анализ существующих алгоритмов классификации и

кластеризации сигналов от летательных аппаратов и предложение нового алгоритма.

Ключевые слова: алгоритмы классификации сигналов, алгоритмы кластеризации сигналов, метод опорных векторов, сверточная нейронная сеть, капсульная нейронная сеть.

Annotation: The subject of this article is the problems of classification and clustering of signals from aircrafts. The analysis of the subject area and existing algorithms for classification and clustering of signals is carried out, criteria for comparing algorithms for classification and clustering of signals are formulated, their classification is carried out according to criteria, the optimal algorithm for a set of criteria is determined and a new one is proposed. The purpose of the article is a comparative analysis of existing algorithms for classifying and clustering signals

from aircrafts and the proposal of a new algorithm.

Keywords: signal classification algorithms, signal clustering algorithms, support vector machine, convolutional neural network, capsule neural network.

Введение

В данной работе будет рассмотрена проблема классификации и кластеризации сигналов от летательных аппаратов.

Способность автоматически идентифицировать интересующие объекты и автоматически классифицировать и кластеризировать их сигналы относится к важнейшим функциональным возможностям систем радиолокации в настоящее время. Результаты идентификации объектов и результаты классификации сигналов обусловлены точными измерениями и техническим анализом параметров сигналов объектов [11].

Задачи классификации и кластеризации сигналов

Классификация предусматривает отнесение каждого объекта к одной из заранее определенных групп, она выделяет признаки, объединяющие объекты, которые уже состоят в группах.

В отличие от классификации, кластеризация предусматривает разбиение множества объектов на группы (кластеры), которые определяются только ее результатом, по наибольшей близости признаков объектов [1].

В данной работе в роли объектов для классификации и кластеризации будут выступать сигналы от беспилотных летательных аппаратов.

Задача классификации и кластеризации сигналов может быть решена с помощью нейронных сетей.

Нейронная сеть представляет собой вычислительную систему или машину, созданную для моделирования аналитических действий, совершаемых человеческим мозгом [10].

Существует большое количество видов нейронных сетей, которые отличаются архитектурой, особенностями функционирования и сферами применения.

Однако чаще других встречаются сети перечисленных далее видов.

— Нейронные сети прямого распространения - прямолинейный вид нейронных сетей, при котором соседние узлы слоя не связаны, а передача информации осуществляется напрямую от входного слоя к выходному. Они имеют малую функциональность, поэтому часто используются в комбинации с сетями других видов [17].

— Сверточные нейронные сети. Они состоят из слоев пяти типов: входного, свертывающего, объединяющего, полносвязного, выходного [4].

— Рекуррентные нейронные сети. Они используют направленную последовательность связей между узлами. В них результат вычислений на каждом этапе используется в качестве исходных данных для следующего. Благодаря этому, рекуррентные нейронные сети могут обрабатывать серии событий во времени или последовательности для получения результата вычислений [2].

Перечисленные выше виды нейронных сетей далее будут использованы для решения задач классификации и кластеризации сигналов.

Актуальность

Проблема качественной классификации и кластеризации сигналов становится все более и более актуальной в последнее время [14]. График, отражающий рост интереса к проблеме классификации и кластеризации сигналов, показан на рисунке 1.

m :

:

Q.

с

я

n

о

С -

S 3"

О -I------

2011 2013 2015 2017 2019 2021 2023

Год

Рисунок 1 - График роста интереса к теме классификации и кластеризации сигналов

Данный график построен на основе статистики от Google Trends [7] по поисковым запросам «Classification of signals» (классификация сигналов), «Clasterization of signals» (кластеризация сигналов), «Задача классификации сигналов». Информация по количеству запросов за 2022 представлена за первые 10 месяцев этого года.

Критерии оценки решений

Рассматриваемые решения будут классифицироваться по цели использования на следующие группы:

— только для классификации сигналов;

— только для кластеризации сигналов;

— для классификации и кластеризации сигналов.

Другими критериями станут:

— точность классификатора, то есть процент верно классифицированных

сигналов с отношением сигнал/шум в пределах от -6 до 6 дБ;

— число скрытых слоев в структуре использующейся для классификации нейронной сети, от которого напрямую зависит время классификации принятого сигнала [3];

— среднее время, необходимое для предварительной обработки и

классификации одного принятого сигнала (радиочастотного импульса) с отношением сигнал/шум в пределах от -6 до 6 дБ, который задан вектором размерности 1024.

Целью данной классификации будет поиск оптимального решения. Алгоритм классификации, основанный на методе опорных векторов Фундаментальная идея метода опорных векторов заключается в том, чтобы встроить данные в векторное пространство, где можно применять знания линейной алгебры и геометрии. Одной из простейших операций, которые можно выполнить в таком пространстве, является построение линейного разделения между двумя классами точек. Использование метода опорных векторов проще, если данные встроены в многомерное пространство [5].

На рисунке 2 представлена структурная схема классификатора, основанного на методе опорных векторов [6].

Рисунок 2 - Структурная схема классификатора, основанного на методе опорных векторов

Выходные данные машины опорных векторов 0(5) могут быть описаны в терминах уравнения [12]:

0(5) = + Ь, где Ь - смещение,

т 1=1

И.^) лежит в воспроизводящем гильбертовом пространстве ядра, индуцируемом функцией ядра К, у^ — соответствующая метка класса, а^ — регулируемый коэффициент, — ¿-ое входное значение и 5 — входной вектор.

Алгоритмы метода опорных векторов используют набор математических функций, которые хорошо известны как функции ядра. Функция ядра нужна для того, чтобы принимать входные данные и преобразовывать их в требуемую форму. Существуют различные алгоритмы метода опорных векторов, отличающиеся типом функции ядра. Далее будут рассмотрены самые распространенные из них.

Линейная функция ядра является самой простой [8]. Она задается простым скалярным произведением < 5а, бь > и необязательной константой с. Эта функция ядра определена только тогда, когда данные, подлежащие анализу, являются векторами.

Линейная функция ядра определяется следующим уравнением [8]:

К(5а> = ^сь^Ь + с> где Ба, — любые два объекта из набора данных и с — необязательная константа.

Гауссова функция ядра, также называемая радиальной базисной функцией ядра, является одной из наиболее часто используемых на практике [8]. Данная функция — это убывающая функция евклидова расстояния. Гауссова функция ядра определяется следующим уравнением [8]:

\\SaSbW2

К(5а,5ь) = е 2а2 , где а — регулируемый параметр, а — — евклидово расстояние между и ^.

Полиномиальная функция применима для задач, в которых все данные нормализованы.

Полиномиальная функция ядра определяется следующим уравнением [8]:

= (Я^ь +С)й ,

где а — регулируемый наклон, с — регулируемая константа, а й — степень полинома.

Алгоритм классификации, основанный на сверточной нейронной сети

На рисунке 3 представлена структурная схема классификатора, основанного на сверточной нейронной сети.

Слои

Входной слой

1 Г

Слой 1

Слой 2 >

Слой 3

Слой 4

Слой 5

Слой £

Слой 7

1 (

Па.пнсчвнаный слой

Слой обобщения лог. функции (ЗоЙМах)

СпрпшИ слой

Слои нормализации

Слои актн вации

Слои мак:имальной паявыборни

СщлшЯ слой

Слои нсрмапиицни

Слои активации

Слой средней подвыборки

Рисунок 3 - Структурная схема классификатора, основанного на сверточной нейронной сети

Данный классификатор состоит из 7 слоев, служащих для извлечения признаков. Каждый из первых 6 слоев состоит из четырех подслоев: сверточного, нормализации, активации и максимальной подвыборки. В последнем из 7 скрытых слоев нейронной сети вместо слоя максимальной подвыборки присутствует слой средней подвыборки [16]. Классификация сигналов реализуется полносвязным слоем и слоем обобщения логистической функции ^ойМах), который преобразует полученный вектор в вектор той же размерности, каждая координата которого представлена вещественным числом от 0 до 1 и сумма координат равна 1.

Слои подвыборки служат для устранения помех и шумов в полученном сигнале, за счет выбора максимальных значений мощности или амплитуды сигнала из каждого набора в случае максимальной подвыборки или усреднение значений в случае средней подвыборки.

Алгоритм классификации, основанный на капсульной нейронной

сети

Капсульная нейронная сеть — это система машинного обучения, тип искусственной нейронной сети, которую можно использовать для лучшего моделирования иерархических отношений. Идея капсульной нейронной сети состоит в том, чтобы использовать структуры, называемые «капсулами» [18].

Капсула — элемент, являющийся промежуточной единицей между нейронами и слоями, которые представляют собой группы виртуальных нейронов, отслеживающих не только отдельные детали объектов, но и их расположение друг относительно друга. Капсулы определяют параметры признаков в объекте. В процессе идентификации объекта капсулы не только определяют наличие или отсутствие признаков, но и учитывают соответствующие параметры, по которым организованы эти признаки. Активные капсулы на одном уровне делают прогнозы с помощью матриц преобразования для параметров реализации капсул более высокого уровня. Когда несколько прогнозов совпадают, активируется капсула более высокого уровня [13].

Проблемой сверточных нейронных сетей является то, что они мелкие изменения сигнала считают шумом за счет слоев максимальной подвыборки (слоев объединения), а капсульные нейронные сети учитывают их, что иногда приводит к увеличению точности классификации: капсульные нейронные сети дают лучший результат при низком уровне шума по сравнению со сверточными [13]. Также капсульные нейронные сети требуют гораздо меньшей выборки для обучения, чем сверточные нейронные сети, что приводит к резкому уменьшению времени обучения [13]. Однако из-за недостаточного количества данных капсульная нейронная сеть не будет включена в таблицу

классификации решений.

Другие алгоритмы

Существуют и другие алгоритмы классификации и кластеризации, например, алгоритмы, основанные на рекуррентной нейронной сети [9], или алгоритмы, основанные на методе ансамблей [15]. Однако нет данных о применении этих алгоритмов для классификации и кластеризации сигналов от летательных аппаратов.

Классификация решений

Далее будут использованы следующие обозначения:

— ОВ ЛФ — классификатор, основанный на методе опорных векторов с

линейной функцией ядра;

— ОВ ГФ — классификатор, основанный на методе опорных векторов с

Гауссовой функцией ядра;

— ОВ ПФ — классификатор, основанный на методе опорных векторов с

полиномиальной функцией ядра;

— СНС — классификатор на основе сверточной нейронной сети.

В таблице 1 приведена классификация рассмотренных решений по ранее сформулированным критериям.

Таблица 1 - Классификация алгоритмов классификации и кластеризации сигналов от

летательных аппаратов

ОВ ЛФ ОВ ГФ ОВ ПФ СНС

Классификация Да Да Да Да

Кластеризация Нет Нет Нет Да

Точность, % 83.61 79.68 84.51 81.34

Число скрытых слоев 1 1 1 7

Среднее время классификации, 312.95 628.84 449.96 256.87

мкс

Заключение

Таким образом, классификатор, основанный на методе опорных векторов с полиномиальной функцией ядра является наиболее точным среди всех рассмотренных решений, также он состоит из наименьшего числа скрытых слоев, однако является самым неэффективным по времени обработки и классификации принятого сигнала. Данный алгоритм не может использоваться для задачи кластеризации сигналов. Алгоритм, основанный на сверточной нейронной сети, является самым эффективным по времени, и может использоваться как для задачи классификации, так и для задачи кластеризации, при этом данное решение не является худшим по точности среди рассмотренных алгоритмов.

По совокупности сформулированных ранее критериев оптимальным является алгоритм, основанный на сверточной нейронной сети.

Также, объединив сверточную и капсульную нейронные сети, можно повысить точность классификации сигнала. Сверточные нейронные сети уберут шум, а капсульные будут обучаться распознавать мелкие изменения сигнала.

Библиографический список:

1. Ершов К. С., Романова Т. Н. Анализ и классификация алгоритмов кластеризации // Новые информационные технологии в автоматизированных системах. №19. - 2016.

2. Рекуррентные нейронные сети: типы, обучение, примеры и применение [Электронный ресурс]. Режим доступа: https://neurohive.io/ ru/osnovy-data-science/rekurrentnye-nejronnye-seti/ (дата обращения: 15.11.2022).

3. Beskopylny A. Comparison of the efficiency of neural network algorithms in recognition and classification problems / A. Beskopylny, A. Lyapin, N. Beskopylny et al. // E3S Web of Conferences. - 2020.

4. Convolutional Neural Networks [Электронный ресурс]. Режим доступа:

https://www.ibm.com/cloud/learn/convolutional-neural-networks (дата обращения: 16.10.2022).

5. Cristianini N., Scholkopf B. Support Vector Machines and Kernel Methods: The New Generation of Learning Machines // AI Magazine, 23(3), 31. - 2002.

6. Farid N., Elbagoury B. M., Roushdy M. A Comparative Analysis for Support Vector Machines for StrokePatients // Proceedings of the 7th European Computing Conference (ECC 13), Dubrovnik, Croatia. - 2013.

7. Google Trends [Электронный ресурс]. Режим доступа: https://trends.google.ru/trends/?geo=RU (дата обращения: 02.11.2022).

8. Hofmann T., Scholkopf B., Smola A. J. Kernel methods in machine learning // The Annals of Statistics. - 2007.

9. Ma Q., Wang M., Hu L. A Novel Recurrent Neural Network to Classify EEG Signals for Customers' Decision-Making Behavior Prediction in Brand Extension Scenario. // Front. Hum. Neurosci. - 2021.

10. Neural Networks [Электронный ресурс]. Режим доступа: https://www. ibm.com/cloud/learn/neural-networks (дата обращения: 15.12.2022).

11. Perdoch J. Comparison of Artificial Intelligence Algorithms for ELINT

Signals Classification // Словакия, General Milan Rastislav stefanik Armed Forces Academy. - 2020.

12. Platt J. C. Probabilistic Outputs for Support Vector Machinesand Comparisons to Regularized Likelihood Methods // Department of Computer Science and Information Engineering, National Taiwan University, Taipei, Taiwan. - 1999.

13. Sabour S., Frosst N., Hinton G. Dynamic Routing Between Capsules // Google Brain, Toronto. - 2017.

14. Simon O., Gotthans T. A Survey on the Use of Deep Learning Techniques for UAV Jamming and Deception // Department of Radio Electronics, Brno University of Technology, 616 00 Brno, Czech Republic. - 2022.

15. Sun S. Ensemble Learning Methods for Classifying EEG Signals. //

Springer, Berlin, Heidelberg. - 2007.

16. Xu T., Darwazeh I. Deep Learning for Over-the-Air Non-Orthogonal

Signal

Classification // IEEE 91st Vehicular Technology Conference (VTC2020-Spring). - 2020.

17. Yal pin O. G. Feedforward Neural Networks // Applied Neural Networks with TensorFlow 2. - 2021.

18. Zebin T. Capsule neural networks // Conference: London, UK. - 2018.