CC BY
70
РАДИОФИЗИКА, ЭЛЕКТРОНИКА, АКУСТИКА
Нейросетевой метод синтеза информативных признаков для классификации источников сигналов в системах
когнитивного радио
С. С. Аджемов1, Н. В. Кленов1,2,0, М.В. Терешонок1, Д. С. Чиров1
1 Московский технический университет связи и информатики.
Россия, 111024, Москва, ул. Авиамоторная, д. 8а.
2Московский государственный университет имени М.В. Ломоносова, физический факультет, кафедра атомной физики, физики плазмы и микроэлектроники.
Россия, 119991, Москва, Ленинские горы, д. 1, стр. 2.
E-mail: а [email protected]
Статья поступила 24.11.2015, подписана в печать 06.01.2016.
В статье рассматриваются возможные методы синтеза информативных признаков для классификации источников сигналов в системах когнитивного радио при помощи искусственных нейронных сетей. Предлагается метод синтеза, основанный на применении автоассоциативных нейронных сетей. Информативность синтезированных признаков с точки зрения классификации сигналов оценивается с помощью модифицированной искусственной нейронной сети на радиальных базисных функциях, содержащей дополнительный самоорганизующийся слой нейронов, обеспечивающих автоматический подбор дисперсии базисных функций и существенное снижение размерности сети. Показано, что использование автоассоциативных сетей позволяет в задаче о классификации источников сигналов синтезировать признаковое пространство минимальной размерности с сохранением разделительных свойств.
Ключевые слова: когнитивные радиосистемы, классификация источников, искусственные нейронные сети.
УДК: 621.376, 004.931, 519.67. PACS: 07.05.Mh, 84.35.+1, 84.40.Ua.
Введение
Перспективные методы и технологии когнитивной обработки сигнала, позволяющие приемной системе получать и использовать информацию о состоянии радиоэфира, динамически и автономно корректируя свои параметры и протоколы, обучаясь на основе полученных результатов, предполагают необходимость классификации радиосигналов в эфире и их источников [1-4]. Задача классификации источников радиосигналов в настоящее время не решена однозначно [1-5]. Особенно важной представляется проблема неопределенности набора признаков сигналов, информативных для классификации излучающих объектов [2, 6]. Таким образом, определение или синтез набора признаков для классификации источников радиосигналов в системах когнитивного радио является сложной и самостоятельной задачей, один из возможных подходов к решению которой будет разобран ниже.
На сегодняшний день один из наиболее универсальных методов для решения задачи классификации радиосигналов и их источников построен на использовании искусственных нейронных сетей [6, 7]. Искусственные нейронные сети (ИНС) обладают способностями к обобщению данных и позволяют моделировать функции распределения вероятностей сложного вида [6]. В силу своей универ-
сальности ИНС позволяют проводить классификацию источников радиосигналов как непосредственно по выборкам сигнальных отсчетов, так и по различным совокупностям измеренных частотно-временных и статистических характеристик. В силу ограниченности вычислительного ресурса и чрезвычайно большого числа сигналов, одновременно присутствующих в эфире и попадающих в полосу приема устройств когнитивного радио, классификация источников радиосигналов непосредственно по выборкам сигнальных отсчетов представляется плохо обусловленной и весьма ресурсоемкой задачей. Таким образом, классификацию источников целесообразно проводить на основе анализа совокупностей измеренных частотно-временных и статистических характеристик. Задача выбора таких характеристик радиосигналов, использующихся для классификации их источников, может решаться различными способами. Рассмотрим наиболее известные из них.
1. Анализ методов синтеза и выбора признаков для классификации источников сигналов
в системах когнитивного радио, обеспечивающего высокие разделительные характеристики и обладающего минимальной размерностью
Определение набора признаков для классификации источников радиосигналов является сложной
и самостоятельной задачей. При ее решении необходимо учитывать следующие ограничения:
а) в набор необходимо включать признаки, относительно которых может быть получена априорная информация, необходимая для описания классов на языке этих признаков;
б) некоторые из признаков нецелесообразно включать в набор ввиду их малой информативности;
в) некоторые признаки, зачастую наиболее информативные, не могут быть определены ввиду отсутствия соответствующих измерительных устройств, а ресурсы, отведенные на создание системы классификации, ограничены.
Под информативностью в данном случае понимается возможность использования признаков сигналов для классификации их источников.
В настоящее время существует большое количество методов выбора набора признаков при ограничениях на стоимость их реализации, методов сравнительной оценки признаков. Однако возможность применения таких подходов связана с наличием априорного набора признаков, который не всегда известен. Зачастую при построении систем распознавания имеется лишь некоторая совокупность реализаций сигналов, описывающих тот или иной объект распознавания. Связь между данной совокупностью реализаций сигналов и их источником подчас является неочевидной в силу нестационарности каналов связи. В подобных ситуациях возникает необходимость на основе имеющихся сигналов определить и упорядочить признаки, назначая больший вес признаку (группе признаков), несущему больше информации при различении объектов, т. е. являющемуся более информативным даже в условиях нестационарности канала связи.
Существует целый ряд методов выбора набора и сравнительной оценки признаков: метод полного перебора; метод последовательного добавления или удаления признаков (или их комбинация); метод ветвей и границ; генетические методы; случайный поиск (с адаптацией или без); методы кластерного анализа (иерархические и неиерархические). При использовании любого из перечисленных методов часть исходных признаков полностью игнорируется.
Данная проблема может быть решена с использованием методов синтеза набора признаков за счет сокращения размерности признакового пространства без существенных потерь в качестве решения задачи классификации и идентификации. В рамках этого метода для построения набора из т признаков участвуют все п исходных (очевидно, что т < п).
Для синтеза меньшего набора признаков из большего возможно использовать метод анализа главных компонент (МГК) для поиска минимального числа новых признаков, по которым исходные признаки можно было бы восстановить линейным преобразованием с незначительными погрешностями [8, 9]. Однако алгоритм МГК является линейным и не раз-
решает учитывать ряд важных особенностей структуры данных. Обойти эту проблему позволяет нелинейное преобразования признакового пространства с использованием автоассоциативной нейронной сети, обученной выдавать в качестве выходов свои собственные входные данные, но при этом содержащей в промежуточном слое меньше нейронов, чем во входном и выходном слоях. Такая особенность архитектуры, проиллюстрированная на рис. 1 (блоки I и II), заставляет сеть представлять входные данные с понижением размерности. После обучения автоассоциативной сети (как правило, построенной на базе многослойного персептрона [10]) ее внешний интерфейс может быть сохранен и использован для решения обсуждаемой задачи о понижении размерности.
Рис. 1. Линейная автоассоциативная сеть с узким горлом — аналог правила обучения
Для получения нескольких содержательных признаков на выходе сети исходное правило обучения многослойного персептрона должно быть модифицировано с учетом воспроизведения на выходе значений, подаваемых на вход. Модифицированное таким образом обучение принято называть правилом обучения Ойа для одного нейрона. Такое обучение стремится максимально повысить чувствительность единственного выхода-индикатора к многомерной входной информации, являя собой пример оптимального сжатия информации. Следуя описанной линии рассуждений, легко получить правило Ойа для однослойной сети, эквивалентное представленной на рис. 1 сети с узким горлом из скрытых линейных нейронов, обученной воспроизводить на выходе значения своих входов.
Вторая часть рассматриваемой автоассоциативной сети — декодер — опирается лишь на кодированную информацию в узком горле сети, что видно, в частности, из рис. 2. Качество воспроизведения данных по их кодированному представлению принято оценивать при помощи условной энтропии H(x\y), где минимизация неопределенности эквивалентна максимизации энтропии кодирования:
minH(x\y) = min{H(x\y) - H(y)} = maxH(y). (1)
Действительно, механическая процедура кодирования не вносит дополнительной неопределенности, так что совместная энтропия входов и их кодового представления равна энтропии самих входов
Рис. 2. Структура автоассоциативной нейронной сети
Н(х, у) = Н(х) + Н(у\х) = Н(х) и, следовательно, не зависит от параметров сети.
Для оценки перспектив использования описанного метода для синтеза признакового пространства в системах когнитивного радио была рассмотрена выборка из 62 сигналов от 10 модельных источников со следующим набором признаков: длительность преамбулы, тип преамбулы, длительность сквелч-окончания, тип сквелч-окончания, режим модуляции сигнала. На рис. 3 представлены результаты обучения перечисленными признаками автоассоциативной нейронной сети типа многослойный пер-септрон, содержащей в слоях соответственно 5, 10, 3, 10 и 5 нейронов с гиперболической тангенциальной функцией активации. Моделирование проводилось в разработанном авторами программном пакете интеллектуального анализа данных [11]. Сеть обучалась методом Ридмиллера-Брауна ЯРЯОР [12], причем в качестве критерия обучения была выбрана величина среднего квадратичного отклонения (СКО), полученная при сравнении данных на выходе сети с эталонными. Как видно из представленного графика, за 1000 циклов обучения СКО упало более чем на три порядка.
Рис. 3. Результаты обучения автоассоциативной нейронной сети
Полученный результат позволяет заключить, что в рассмотренном случае возможно уменьшение размерности синтезированного признакового пространства с 5 до 3. Следует особо отметить, что предложенный метод не сокращает число признаков
путем исключения наименее информативных, а синтезирует новые признаки, число которых меньше числа исходных признаков. Новые синтезированные признаки являются нелинейной комбинацией всех исходных признаков с весами, отражающими их относительные разделительные свойства.
2. Оценка разделительных свойств синтезированных признаков для классификации источников сигналов в системах когнитивного радио
Для оценки информативности и разделительных свойств различных признаков источников сигналов в системах когнитивного радио можно использовать критерий минимума энтропии, которую можно ввести при кластерной классификации источников.
Проведем по каждому из признаков кластерный анализ [6, 13] вышеописанной выборки. Если априорная привязка сигналов к источникам известна, то для каждого из полученных кластеров ] можно рассчитать энтропию
К
Е = Р'11о&Рп, (2)
¿=1
где р1 = Ц, К — количество классов сигналов в ¡-м кластере, п ¡1 — количество сигналов I-го класса в ¡-м кластере, Ц — общее количество сигналов в ¡-м кластере. В дальнейшем рассчитывается общая энтропия результатов кластеризации по каждому из признаков
м
г = £ е, (3)
=1
где м — количество кластеров. Как известно, энтропия характеризует меру неоднозначности решения задачи, поэтому признак, кластеризация по которому приводит к наименьшему значению энтропии, является наиболее информативным.
Кластерный анализ можно проводить с использованием как иерархических, так и неиерархических (в том числе нейросетевых) алгоритмов. В любом случае предложенный подход позволяет оценить информативность как исходных, так и синтезированных признаков источников радиосигналов. Алгоритм можно изложить следующим образом.
1. Проводим кластерный анализ по каждому исходному признаку априорно привязанных к источникам сигналов, вычисляем энтропию п-го признака Шп.
2. Рассчитываем суммарную энтропию по всем
N
N признакам = ^ Шп.
п= 1
3. Проводим синтез новых Ц признаков с использованием автоассоциативной нейронной сети типа многослойный персептрон.
4. Проводим кластерный анализ по каждому синтезированному признаку априорно привязанных
к источникам сигналов, вычисляем энтропию п-го признака Wn.
5. Рассчитываем суммарную энтропию по всем
N1
N\ синтезированным признакам Шзр Wn.
п=1
6. Оцениваем изменение энтропии Ш^р относительно №<51 .
7. При незначительном с точки зрения решаемой задачи превышении Шзр над №<51 принимается решение о достаточной информативности синтезированных признаков. В противоположном случае принимается решение о невозможности оптимизации набора признаков.
Данный метод был использован авторами для оценки синтезированных признаков в модельном эксперименте, описанном выше. Был зафиксирован результат Шзр = Шзь что позволяет сделать заключение о неизменности информативности синтезированных признаков относительно исходных.
3. Быстрая и энергоэффективная физическая реализация нейросетей в системах когнитивного радио
Можно заключить, что предложенный метод синтеза признаков для классификации источников сигналов в системах когнитивного радио с использованием автоассоциативной нейронной сети позволяет снизить требования к вычислительным ресурсам без существенного снижения помехоустойчивости и корректности классификации. Снижение требований к вычислительным ресурсам достигается за счет уменьшения числа синтезированных признаков источников радиосигналов по сравнению с общим числом исходных признаков. Отличительной особенностью метода является не сокращение числа признаков путем исключения наименее информативных, а синтез меньшего числа новых признаков, представимых в виде нелинейной комбинации всех исходных признаков с весами, отражающими их относительные разделительные свойства. Эта особенность позволяет при снижении числа признаков сохранить общий уровень их информативности, что подтверждается на модельных и реальных данных.
За счет сокращения признакового пространства на этапе предварительной обработки данных, поступающих в системы когнитивного радио, возможно сокращение вычислительных мощностей на этапах идентификации источников излучения, что особенно важно с учетом зависимости вычислительной сложности применяемых в когнитивных системах алгоритмов анализа от размерности входных данных. Данное обстоятельство делает целесообразным использовать автоассоциативные нейронные сети в составе программно-аппаратных комплексов когнитивных радиосистем в виде программных модулей предварительной обработки сигнально-параметрической информации.
Основная проблема на пути к практической реализации предлагаемых ИНС-решений — проб-
лема диссипации энергии в многочисленных нейронах и соединениях. К сожалению, энергоэффективность современных полупроводниковых решений относительно невелика и составляет порядка 2 Гфлопс/Вт [14] и не демонстрирует тенденции к существенному росту [15]. Необходимо отметить, что низкая энергоэффективность современных полупроводниковых процессоров не только обусловливает большие затраты энергии, но также ограничивает их тактовую частоту на уровне 4-5 ГГц вследствие «температурных» ограничений, накладываемых на степень интеграции и скорость переключения базовых элементов. Проблема теплоотвода является одним из важнейших препятствий на пути дальнейшего масштабирования и увеличения производительности полупроводниковых цепей, что даже если будет изобретен альтернативный физический принцип реализации цифровой логики на базе электронного транспорта, гипотетические новые логические устройства не превзойдут по своим характеристикам существующие полупроводниковые аналоги [16].
Одной из наиболее перспективных «посткремниевых» энергоэффективных технологий вычислений стала сверхпроводниковая технология на основе быстрой одноквантовой логики [17-20]. Физическими основами сверхпроводниковой технологии являются макроскопические квантовые эффекты, исследование которых до сих пор представляет серьезный фундаментальный интерес:
— сверхпроводимость, позволяющая передавать сигналы по цепям практически без потерь;
— привносящие в схемы нелинейность эффекты Джозефсона, устанавливающие связь между макроскопически большими токами, протекающими через сверхпроводниковые гетероструктуры, с изменением фазы «микроскопической» функции, описывающей корреляции между электронами (отметим, что практически все это изменение приходится на «слабую связь» между сверхпроводящими электродами);
— группа явлений, связанных с квантованием магнитного потока в сверхпроводящих цепях, разорванных джозефсоновскими контактами (интерферометрах различной конфигурации).
В результате можно выделить такие принципиальные преимущества «джозефсоновских» информационных комплексов, как быстродействие и энергоэффективность. Остановимся подробнее на описании перечисленных аспектов.
Быстродействие. На базе такой технологии уже были реализованы достаточно сложные цифровые устройства: например, полностью цифровая приемная система спутниковой связи [21], с помощью которой возможна прямая оцифровка и обработка сигнала вплоть до частоты 20 ГГц.
Энергоэффективность. В схемах энергоэффективной одноквантовой логики [22] был достигнут уровень энергии переключения £ьи ^ 1 аДж, что на три порядка меньше аналогичного показателя
Вход
S
>к
0 к
1
Я
m
Развертка, отн. ед.
Рис. 4. Пример реализации нейрона на основе сверхпроводниковых джозефсоновских технологий (элементы Ji, J2, J3) и рассчитанный вид перестраиваемой активационной функции (зависимость выходного напряжения
Vout от тока развертки IB )
современных полупроводниковых схем. Для 8-битного сумматора на основе RQL (reciprocal quantum logic) и ERSFQ (energy-efficient rapid Single flux quantum) логик был экспериментально продемонстрирован уровень энерговыделения соответственно 82 и 360 аДж на такт [23, 24]. Столь низкий уровень энерговыделения позволяет говорить о возможности прорыва в области энергоэффективных вычислений, необходимого для создания суперкомпьютеров следующего поколения. В соответствии с этим в США стартовала государственная программа, направленная на создание прототипа сверхпроводящего вычислителя в ближайшие три года.
Наконец, сверхпроводниковые технологии позволяют качественным образом усовершенствовать элементную базу аналогового компонента когнитивных программно-определяемых информационно-коммуникационных систем. Многоконтурные сверхпроводящие квантовые интерферометрические схемы (СКВИДы) с высоколинейным (до 120 дБ) откликом напряжения на магнитную компоненту сигнала [25] (вкупе с традиционно чрезвычайно высокой чувствительностью джозефсоновских детекторов магнитного поля) являются ключевыми элементами широкополосных приемных систем радиочастотного диапазона нового поколения — активных широкополосных сверхпроводниковых антенн на базе цепочек СКВИДов с линейным откликом. Основным преимуществом таких антенн является возможность высокочувствительного приема сигнала в широкой полосе частот: от постоянной составляющей до 10 ГГц.
Перечисленные особенности сверхпроводниковых цепей с джозефсоновскими контактами уже позволили успешно реализовать на практике простейшие нейронные сети [26-28]. Пример реализации энергоэффективного нейрона вместе с рассчитанным видом перестраиваемых активационных функций представлен на рис. 4. Численное моделирование подтвердило возможность эффективного использования таких нейронов в сетях, реализующих предложенный
метод синтеза признаков для сокращения времени принятия решения в системах когнитивного радио за счет а) минимизации размерности входных данных и б) оптимизации быстродействия отдельных нейронов на уровне технологического воплощения.
Работа выполнена при финансовой поддержке Гранта Президента РФ МК-5813.2016.2 (введение, разделы 1 и 2) и гранта РФФИ 15-32-20362-mol_a_ved (раздел 3).
Список литературы
1. Mee H.L., Kok-Lim A.Y., Junaid Q. et al. // Appl. Soft Computing. 2015. 37. P. 809.
2. Katidiotis A., Tsagkaris K., Demestichas P. // Comput. & Electr. Engineering. 2010. 36, N 3. P. 518.
3. Zi-Long Jiang, Qin-Yu Zhang, Ye Wang, Xue-Quan Shang // 3rd International Conference on Communication Software and Networks (ICCSN). 2011. P. 293.
4. Мирошникова Н.Е. // T-Comm: Телекоммуникации и транспорт. 2013. 7, № 9. С. 108.
5. Atapattu S., Tellambura C., Jiang H. // IEEE Trans. on Wireless Comm. 2011. 10, N 4. P. 1232.
6. Аджемов С.С., Виноградов А.Н., Лебедев А.Н. и др. Методы интеллектуального анализа слабоструктурированных данных и управления комплексами мониторинга. М., 2009.
7. Терешонок М.В. // T-Comm: Телекоммуникации и транспорт. 2008. 2. С. 28.
8. Калинина В.Н., Соловьев В.И. Введение в многомерный статистический анализ. М., 2003.
9. Айвазян С.А., Бухштабер В.М., Енюков И.С., Ме-шалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М., 1989.
10. Аджемов С.С., Терешонок М.В., Чиров Д.С. // T-Comm: Телекоммуникации и транспорт. 2008. 2. С. 23.
11. Аджемов С.С., Виноградов А.Н., Лебедев А.Н. и др. Интеллектуальный анализ данных: Свид. об официальной регистрации программы для ЭВМ. № 2007612101. 23.05.2007.
12. Riedmiller M., Braun H. // IEEE International Conference on Neural Networks. 1993. 1. P. 586.
13. Айвазян С.А., Бухштабер В.М., Енюков И.С., Ме-шалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М., 1989.
14. http://top500.org/lists/2015/06/highlights.
15. Mukhanov O.A. // IEEE Trans. Appl. Supercond. 2011. 21. P. 760.
16. Zhirnov V.V., Cavin R.K., Hutchby J.A., Bourianoff G.I. // Proc. IEEE. 2003. 91. P. 1934.
17. Gupta D., Filippov T.V., Kirichenko A.F. et al. // IEEE Trans. Appl. Supercond. 2007. 17, N 2. P. 430.
18. Sarwana S., Kirichenko D.E., Dotsenko V.V. et al. // IEEE Trans. Appl. Supercond. 2011. 21, N 3. P. 677.
19. Аджемов С.С., Терешонок М.В., Чиров Д.С. // Вестн. Моск. ун-та. Физ. Астрон. 2015. № 1. С. 23. (Adzhe-mov S.S., Tereshonok M.V., Chirov D.S. // Moscow University Phys. Bull. 2015. 70, N 1. P. 22.)
20. Holmes D.S., Ripple A.L., Mannheimer M.A. // IEEE Trans. Appl. Supercond. 2013. 23. P. 1701610.
21. Mukhanov O.A., Kirichenko D., Vernik I.V. et al. // IEICE Trans. Electron. 2008. E91-C. P. 306.
22. Herr Q.P., Herr A.Y, Oberg O.T., Ioannedis A.G. // J. Appl. Phys. 2011. 109. P. 103903.
23. Herr A.Y, Herr Q.P., Oberg O.T. et al. // J. Appl. Phys. 2013. 113. P. 033911.
24. Kirichenko A.F., Vernik I.V., Vivalda J.A. et al. // IEEE Trans. Appl. Supercond. 2015. 25. P. 1300505.
25. Kornev V.K., Soloviev I.I., Klenov N.V. et al. // IEEE Trans. Appl. Supercond. 2011. 21, N 3. P. 713.
26. Crotty P., Shult D., Segal K. // Phys. Rev. E. 2010. 82. P. 011914.
27. Chiarello F., Carelli P., Castellano M.G., Torrioli G. // Supercond. Sci. Technol. 2013. 26. P. 125009.
28. Onomi T., Nakajima K. // J. Phys.: Conf. Series. 2014. 507. 042029.
A neural-network method for the synthesis of informative features for the classification of signal sources in cognitive radio systems
S.S. Adjemov1, N.V. Klenov12a, M.V. Tereshonok1, D.S. Chirov1
1 Moscow Technical University of Communications and Informatics (MTUCI), Moscow 111024, Russia.
2 Department of Atomic Physics, Plasma Physics, and Microelectronics, Faculty of Physics, Lomonosov Moscow State University, Moscow 119991, Russia.
E-mail: a [email protected].
This paper discusses possible methods for the synthesis of informative features for the classification of signal sources in cognitive radio systems using artificial neural networks. A synthesis method based on the use of autoassociative neural networks is proposed. From the point of view of the classification of the signals, informativeness of synthesized features is estimated using a modified artificial neural network based on radial basis functions that contains an additional self-organizing layer of neurons that provide the automatic selection of the variance of basis functions and a significant reduction of the network dimension. It is shown that the use of autoassociative networks in the problem of the classification of signal sources makes it possible to synthesize the feature space with a minimum dimension while maintaining separation properties.
Keywords: cognitive radio systems, classification of sources, artificial neural networks. PACS: 07.05.Mh, 84.35.+i, 84.40.Ua. Received 24 November 2015.
English version: Moscow University Physics Bulletin. 2016. 71, No. 2. Pp. 174-179.
Сведения об авторах
1. Аджемов Сергей Сергеевич — доктор техн. наук, профессор, нач. НИО МТУСИ; тел.: (495) 957-78-44, e-mail: [email protected].
2. Кленов Николай Викторович — канд. физ.-мат. наук, доцент; тел.: (495) 939-25-88, e-mail: [email protected].
3. Терешонок Максим Валерьевич — канд. техн. наук, зав. НИЛ МТУСИ; тел.: (495) 957-78-44, e-mail: [email protected].
4. Чиров Денис Сергеевич — доктор техн. наук, доцент, вед. науч. сотрудник МТУСИ; тел.: (495) 957-77-52, e-mail: [email protected].
