CC BY
18Труды МАИ. Выпуск № 96
http://trudymai.ru/
УДК 621.396
Применение методов машинного обучения для классификации
радиосигналов
1 * 1** 1 * Я Я
Малыгин И.В. , Бельков С.А. , Тарасов А.Д. , Усвяцов М.Р.2
1 Уральский федеральный университет имени Б.Н. Ельцина, ул. Мира, 19,
Екатеринбург, 620002, Россия Московский физико-технический институт, Институтский переулок, 9, Долгопрудный, Московская область, 141701, Россия *e-mail: pit_pit2@mail.ru **e-mail: buf2@mail.ru ***e-mail: alex@chrns.com ****e-mail: m.usvyatsov@gmail.com
Аннотация
Статья посвящена проблеме распознавания принимаемых кодированных последовательностей радиосигналов. Традиционно в системах связи для обнаружения и обработки шумоподобных сигналов используются корреляторы или согласованные фильтры. Обе модели параметризованы порогом обнаружения. Оптимальность традиционных методов по количеству правильных и ложных обнаружений доказана для случая, когда шум в среде передачи является аддитивным Гауссовским. Для улучшения качества распознавания сигналов в среде с помехами общего вида предлагается использовать нейронную сеть. Предполагается, что
качество распознавания будет лучше, чем при традиционном использовании автокорреляционной функции так как в процессе обучения нейронной сеть способна запомнить особенности помех в канале связи, и, следовательно, использовать полученную модель на этапе классификации сигналов. В данной работе также приводится схема эксперимента, позволяющего подтвердить данное предположение.
Ключевые слова: нейронная сеть, обработка сигналов, М-последовательность, коды Баркера, коррелятор.
Введение
В настоящее время для обнаружения и обработки шумоподобных сигналов обычно применяются корреляторы или согласованные фильтры. Классическим методом обнаружения сигнала при этом считается превышение порога корреляционной функции. Оптимальность традиционных методов по количеству правильных и ложных обнаружений доказана для случая, когда шум в среде передачи является аддитивным Гауссовским. Несмотря на хорошую практическую применимость и всестороннее теоретическое обоснование, все еще актуальной остается задача обнаружения сигнала в условиях шума и помех, которые плохо описываются аддитивной Гауссовской моделью.
Оцифровка сигналов
В реальных радиоэлектронных системах информация передается в виде сигналов. Эти сигналы передаются от источника к приемнику через среду распространения. В современных устройствах сигналы, как правило, являются цифровыми (5 е { о, 1 }) вследствие относительной дешевизны, простоты, универсальности и доступности устройств их обработки по сравнению с устройствами для обработки аналоговых сигналов, так же, у цифровых сигналов более хорошие характеристики устойчивости к шуму [2, 12]. Благодаря идеальной автокорреляционной функции в качестве сигнала в радиоэлектронных системах часто используют код Баркера [1]. К сожалению, в среде передачи сигнал в независимости от того, в каком виде с ним работают приемник и передатчик, является аналоговым. Цифровые сигналы получаются из аналоговых в процессе оцифровки, который математически можно описать как Б : [ 0 , 1 ] — { 0 , 1 }. Процесс бинарной оцифровки может быть для фиксированного описан также следующим образом:
Ч/о) <т
Очевидно, раз оцифровка переводит входной сигнал из непрерывного пространства в дискретное, этот процесс сопровождается потерей информации.
Постановка задачи классификации
Пусть передатчик передает сигнал , далее этот сигнал преобразуется передающим устройством в аналоговый сигнал . В процессе
прохождения сигнала V;через среду он может быть искажен, из-за чего £(52) Ф ^. Понятно, что "степень похожести" £(я2)и ^определяется устойчивостью системы к искажениям, хоть и не является формальным определением. Оба сигнала ф(я2)и 5) являются цифровыми последовательностями [1, 2] и для их сравнения можно использовать такие метрики, как расстояние Хемминга [3], расстояние Вассерштайна [4], значение максимума автокорреляционной функции [5] и другие. Мера близости двух сигналов нужна, чтобы определить является ли принятый сигнал достаточно "похожим" на отправленный (эталонный), или же они отличаются настолько, что нельзя говорить о том, что ожидаемый сигнал был принят.
В терминах машинного обучения эта задача может быть сформулирована как задача бинарной классификации, при которой оптимизируется заданная метрика качества классификатора.
Формально: пусть задан классификатор F:S^С, где 5это признаковое пространство в котором вход классификатора может быть представлен как вектор V £ 5, а С - это пространство классов, которым может принадлежать конкретная реализация принятого сигнала. В нашем случае С содержит всего два класса:
• £(я2)и близки по метрике (эквивалентны);
• £(я2)и сильно отличаются ф($2) - шум).
Разберемся с понятием признакового пространства и тем, как можно представить в нем сигналы £(я2)и Рассмотрим случай, когда на вход классификатора поступает сигнал и выберем его конкретную реализацию V. Тогда
количество бит в бинарной последовательности является размерностью пространства признаков. Теперь представим сигнал как -мерный вектор в этом пространстве. V ¿это значения вектораг в координате ¿в пространстве 5. Рассмотрим пример: протокол устанавливает длину сигнала - 3 бита. Пусть сигнал 5 ъ определен как (101). Разделим пространство 5на два множества: F- состоящее из векторов, принадлежащих классу эквивалентных сигналов и С2- состоящее из векторов, принадлежащих классу шум. Задача классификатора Fпостроить такую разделяющую плоскость в пространстве F : 5 — С, которая бы "лучшим" (по метрике качества работы классификатора) образом разделила эти два множества.
В данной работе мы предлагаем задать входа классификатора бинарным вектором состоящим из бит, в котором:
У _ Л, если= ^ { 0 , и н ач е ,
где Ь это значение вектора 5 ± в координате ¿.
Чтобы построить разделяющую плоскость в пространстве / (с (х) ) необходимо, необходимо начать с некоторого начального приближения такой плоскости. Так как обучать классификатор придется по примерам (прецедентам), из имеющихся размеченных данных создаются обучающая и валидационная выборки [7]. В данном случае это наборы сигналов, которые принадлежат как классу , так и классу F :5 —Си для каждого примера в этих выборках известен их истинный класс. Соотношение объектов (в данном контексте сигналов) каждого класса должно быть близко к 1, иначе выборки будут несбалансированными и обучение классификатора
на этих выборках не гарантирует получения точных предсказаний [7]. После постановки задачи в терминах машинного обучения становится возможным применить алгоритм стохастического градиентного спуска при обучении нейронной сети методом обратного распространения ошибки [6] в качестве метода оптимизации функционала качества работы классификатора. Этот метод имеет преимущество перед методом с фиксированной мерой близости сигналов, так как нейронная сеть по предъявленным ей прецедентам сможет выучить (аппроксимировать) такую функцию соответствия F:5^С, что функционалу качества работы классификатора достигнет своего оптимума.
Нейронная сеть
Чтобы описать работу нейронной сети необходимо разобраться, как работает
один нейрон.
Рис. 1. Модель нейрона.
На рис. 1 приведена схема работы нейрона [10, 15]. Если на вход нейрона подается т-мерный вектор х, то нейрон можно представить функцией
#(х) = хЖт + Ь,
где Ж- вектор весов, с которыми перемножаются соответствующие входы; Ь - свободный член. [11]
Очевидно, что результат этой операции - это число. Нейрон состоит из описанной выше линейной части (операции векторного умножения и сложения линейны) и нелинейной части, представленной решающей функцией /(^(х)).
Нейронная сеть состоит из некоторой структуры описанных выше нейронов. Все операции для расчета выхода нейронной сети можно записать в матричной форме, благодаря чему все расчеты выполняются эффективно. [13].
Согласно теореме об аппроксимации, нейронная сеть способна аппроксимировать любую непрерывную функцию. [8].
В процессе обучения нейронной сети ей предъявляются примеры, вычисляется выход сети на этих примеров, а затем при помощи градиентного спуска по функционалу качества нейронной сети с использованием информации об истинных метках происходит обновление весов сети. [14]
Таким образом, с помощью обучения по примерам нейронная сеть аппроксимирует функцию F: 5 ^ С.
Построение эксперимента
Целью данной работы является сравнение коррелятора и нейронной сети. Для сравнения этих моделей необходимо для какого то набора сигналов, для которых известны их правильные метки (сигнал, шум), сравнить, к примеру, число ошибок первого и второго рода для обеих моделей. Сложность этой задачи состоит в том, что при построении подобного набора данных нет объективной метки для каждого примера. Например, сигнал был передан, но уровень помехи был настолько высок, что сигнал не дошел до приемного устройства. С другой стороны, мы можем делать уверенные выводы о наличии полезного сигнала в принятом, анализируя уровень шума в среде распространения.
Самый простой способ получить данные для обучения это добавлять реализацию заданной модели шума к полезному сигналу и классифицировать результат на шум и полезный сигнал согласно какому-либо правилу. Однако такой подход неприменим, т. к. в таком случае нейронная сеть просто аппроксимирует правило, по которому мы расставляли правильные ответы. Более правильно использовать реальные данные, которые были искажены в результате прохождения через среду распространения и создать условия, когда для каждого примера известна метка: шум или сигнал. Таким образом, нейронной сети придется выучить модель шума, по размеченным данным.
Теперь нужно определить, что из себя представляют данные. Пусть каждый бит полезной информации кодируется М-последовательностью из 1023 бит.
Была разработана следующая схема эксперимента рис. 2, которая позволит сделать первичные выводы о работоспособности нейронной сети в качестве классификатора принятого сигнала.
Рис. 2. Схема эксперимента.
Приемником и передатчиком управляет один микроконтроллер. Это позволяет легко синхронизировать эти два устройства.
Для тренировки нейронной сети был сформирован набор данных, при разных условиях (тысяча М-последовательностей длиной 1023 бита): а) антенны расположены друг напротив друга и разнесены на 5 сантиметров, передача ведётся;
б) аналогичные условия, однако передача не ведётся, принимается фоновый шум; в)
антенны приёмника и передатчика помещены внутрь металлизированной банки (условие многократного переотражения).
На текущий момент анализатор уровня помех в канале распространения сигнала не был реализован, и его разработка является важной частью дальнейших исследований.
Результаты эксперимента
С помощью предложенной схемы были получены экспериментальные данные, содержащих наборы последовательностей: переданную, принятую и метку, полученную на основе устройства синхронизации (микроконтроллера). В качестве негативных примеров для обучения (пример шума) была использована запись входа приемника в отсутствие передачи.
Нейронная сеть, схема которой изображена на Рис. 3, показала 99-процентную точность на тестовой выборке для разных условий передачи.
Input I. ayer Output shape: (None, 1,1023)
ConvlDLayer Output shape: (None, 8,1021)
MaxPoollDLayer Output shape: (None, 8, 510)
ConvlDLayer Output shape: (None, 16, 508)
ConvlDLayer Output shape: (None, 32, 506)
DenseLayer Output shape: (None, 1024)
DenseLayer Output shape: (None, 1)
Рис. 3. Архитектура нейронной сети (InputLayer, ConvlDLayer, MaxPoollDLayer, DenseLayer - входной, промежуточные и выходные слои нейронной сети; кортеж Output shape характеризует размерность выходного слоя).
Подобный выбор архитектуры нейронной сети обусловлен степенью влияния соседних битов сигнала друг на друга. Даже в тех случаях, когда коррелятор не мог справиться с распознаванием сигнала, нейронная сеть показывала положительный результат. Однако, в силу того, что метки были получены в отсутствие анализа
уровня помех в среде, у нейронной сети высок процент ложных срабатываний при подаче на вход случайных сигналов (взятых не из тракта). Это объясняется тем, что в случае обучения нейронной сети на зашумленных данных, нейронная сеть учится аппроксимировать разделяющую поверхность по данным, содержащим ошибочную разметку. Таким образом, сеть учит не только правило, по которому необходимо размечать примеры (Р: 5 ^ С), но и распределение ошибочно выставленных ответов. Очевидно, что на этапе предсказания такая сеть будет работать с ошибкой в соответствии с распределением ошибочно размеченных данных, предложенных ей на этапе обучения.
В качестве целевой функции была выбрана бинарная кросс энтропия [9], процесс оптимизации которой изображен на рис. 4.
Перекрестная энтропия
0.07 _■.... . . . . ^ 0.06 -0.05 -0.04 -0.03 -0.02 -0.01
ООО -, , , , , -1-т-т-,-г
01 23455735
Число циклов обучения
Рис. 4. Кривая обучения
Из рис. 4 видно, что всего лишь нескольких итераций обучения достаточно, чтобы достигнуть приемлемого значения целевой функции.
Выводы
В данной работе была разработана схема для получения данных, которые могут быть использованы для обучения нейронной сети. Первичные результаты говорят о том, что коррелятор может быть аппроксимирован нейронной сетью, а так же, что нейронная сеть способна обучаться по предложенным ей данным. Отсюда следует, что нейронная сеть в сложных условиях приема сигнала может быть потенциально лучше, чем коррелятор, потому что она представляет класс функций, более широкий, чем класс, содержащий только корреляционную функцию.
Применение нейронных сетей затрудняется процессом их обучения, для чего нужно иметь метки для принятых последовательностей. При возможности уверенного получения таких меток для различных условий распространения, нейронные сети позволят строить радиоэлектронные системы, способные подстраиваться к различным помехам в канале распространения.
Библиографический список
1. Barker R.H. Group synchronizing of binary digital sequences // Communication theory, Butterworth, London, 1953, pp. 273-287.
2. Digital Design and Computer Architecture. 2nd Edition. David Harris Sarah Harris, ISBN: 9780123978165, Paperback ISBN: 9780123944245, Imprint: Morgan Kaufmann, Published Date: 24th July 2012, 712 p.
3. Forney G. Generalized minimum distance decoding // IEEE Transactions on Information Theory. 1966. Vol. 12, no. 2, pp. 125-131.
4. Rüschendorf L. The Wasserstein distance and approximation theorems // Zeitschrift für Wahrscheinlichkeitstheorie und verwandte Gebiete. 1985. Vol. 70, no. 1, pp. 117-129.
5. Welch L. Lower bounds on the maximum cross correlation of signals // IEEE Transactions on Information theory. 1974. Vol. 20, no. 3, pp. 397-399.
6. Amari S. Backpropagation and stochastic gradient descent method // Neurocomputing. 1993. Vol. 5, no. 4-5, pp. 185-196.
7. Воронцов К.В. Математические методы обучения по прецедентам (теория обучения машин). URL: http : //www. machinelearning.ru/wiki/images/6/6d/Voron-ML-1
8. Chen T., Chen H. Universal approximation to nonlinear operators by neural networks with arbitrary activation functions and its application to dynamical systems // IEEE Transactions on Neural Networks. 1995. Vol. 6, no. 4, pp. 911-917.
9. Shore J., Johnson R. Axiomatic derivation of the principle of maximum entropy and the principle of minimum cross-entropy // IEEE Transactions on information theory. 1980. Vol. 26, no. 1, pp. 26-37.
10. Гураков М.А., Кривоносов Е.О., Костюченко Е.Ю. Показатели качества систем распознавания пользователей по динамике подписи на основе наивного классификатора Байеса и нейронной сети // Труды МАИ. 2016. № 86. URL: http://trudymai.ru/published.php?ID=67851
11. Ефимов Е.Н., Шевгунов Т.Я. Формирование оценки направления прихода сигнала с использованием искусственных нейронных сетей // Труды МАИ. 2015. № 82. URL: http://trudymai.ru/published.php?ID=58786
12. Филатов В.И. Широкополосная система радиосвязи повышенной скорости передачи информации // Труды МАИ. 2015. № 81. URL: http: //trudymai .ru/published.php?ID=57889
13. Суханов Н.В. Схема управления летательным аппаратом на основе нейронных сетей // Труды МАИ. 2013. № 65. URL: http://trudymai.ru/published.php?ID=36013
14. Тюменцев Ю.В., Козлов Д.С. Нейросетевые методы обнаружения отказов датчиков и приводов летательного аппарата // Труды МАИ. 2012. №52. URL: http: //trudymai. ru/published.php?ID=29421
15. Ефимов Е.Н., Шевгунов Т.Я. Разработка и исследование методики построения нейронных сетей на основе адаптивных элементов // Труды МАИ. 2012. № 51. URL: http://trudymai.ru/published.php?ID=29159
