CC BY
114
17 декабря 2011 г, 19:40
ТЕХНОЛОГИИ ИНФОРМАЦИОННОГО ОБЩЕСТВА
Гибридная нейронная сеть "персептрон — самоорганизующаяся карта" для решения задач классификации радиосигналов
Ооной из важных задач рсщиомониторинга является оперативная классификация радиосигналов различных источников излучения. Применение для решения этой задачи искусственных нейронных сетей обусловлено их высоким быстродействием (за счет распараллеливания вычислений) и хорошими обобщающими свойствами. Классической структурой искусственной нейронной сети для решения задач такого шла является многослойный персегпрон. Однако при решении практических задач классификации радиосигналов обобщающих свойств перселтрона не всегда достаточно для получения результата с заданным качеством. Рассмотрен перспективный подход к повышению обобщающих свойств многослойного персептрона за счет его комплексирования на этапе обучения с самоорганизующейся картой карты Кохонена.
Макарвнков С.А., к.т.н., преподаватель ИКСИ Тврешонок М.В., к.т.н. зав. лабораторией МТУСИ Чиров Д.С., к.т.н., ведущий научный сотрудник МТУСИ
Эффективность применения многослойных персептронов (МП) для решения различных задач, в том числе классификации и распознавания радиосигналов, зависит от большого количества параметров, одним из которых является полнота и представительность обучающей выборки. В [ 1 ] описан ряд экспериментов, когда многослойный персептрон решал поставленную задачу с нужной эффективностью, только после коррекции набора учебных данных. Этот эффект возникает в случае недостаточной способности нейронной сети к обобаению. Многослойный персептрон имеет значительные способности к обобщению, но при решении практических задач этих способностей иногда недостаточно. Повышение способности МП к обобщению может быть достигнуто в результате комплексирования различных типов нейронных сетей, каждый из которых обладает свойствами обобщения, обусловленных различньиии нейросетевь»-ми парадигмами, в единую сеть.
Одним из перспективных направлений развития гибридных нейронных сетей [2\ обладающих высокими обобщающими свойство-ми, является комплексное использование многослойного персептрона и самоорганизующейся карты признаков (так называемой карты Кохонена — КК). Архитектура сети МП-КК представляет собой сеть с прямой связью, имеющую один или более схрытых слоев, каждый из которых связан с картой Кохонена. Для лучшего понимания материала рассмотрим пример МП-КК сети, имеющий один скрытый слой.
Число элементов в КК выбирается произвольным образом или исходя из некоторых априорных знаний (например, равным удвоенному количеству возможных классов объектов) Число входов каждого элемента КК устанавливается равным количеству нейронов соответствующего скрытого слоя. Сети МП и КК обучаются параллельно. Входными данными для КК являются значения активности (выходов) нейронов скрытою слоя МП.
Обучение КК можно разделить на два этапа: самоорганизацию и классификацию. Этап самоорганизации заключается в выполнении стандартного обучения КК, в результате которого формируется топологическая карта признаков, а в данном случае карта активности нейронов скрытого слоя МП. Этап классификации начинается после назначения каждому элементу КК метки класса. Метка класса назначается следующим образом. После некоторого количества циклов обучения МП-КК, когдо этап самоорганизации КК можно считать оконченнь**, на вход МП последовательно подаются все учебные образцы, принадлежность к классам которых известна. Значения активности нейронов скрытого слоя МП подаются на К К,
где определяется нейрон-победитель, то есть нейрон, вектор весов которою по метрике Евклида оказываются ближе всех к вектору значений активности скрытого слоя МП. С каждым нейроном КК связан счетчик ВЫХОДНЫХ клоссов, состоящий из ячеек, количество которых соответствует количеству классов. Каждый раз, когда нейрон КК становится победителем, значение ячейки счетчика соответствующею класса увеличивается на единицу. После рассмотрения всех учебных образцов каждый элемент КК получает свою метку, соответствующую номеру класса ячейка счетчика которого имеет наивыаиее значение. Дополнительно, к метке каждому нейрону К К присваивается значение надежности, равное отношению значения ячейки счетчика соответствующего класса к общему числу побед данного нейрона КК. На рисунке 1 представлено устройство гибридной нейронной сети МП-КК. Для упрощения восприятия и не загромождения архитектуры на рисунке 1 изображены связи скрытого слоя МП только С ОДНИМ элементом КК.
Суть использования в процессе обучения МП карты Кохонена заключается в следующем. В процессе обучения рассматриваются два вектора ошибок. Первый вектор ошибок рассчитывоется исходя из стандартного метода обратного распространения ошибки [2, 3). То есть, учебный образец подается на МП и полученные значения выходного слоя сравниваются с плановыми. Полученная выходная ошибка используется для расчета значений ошибок для каждого из скрытых нейронов МП (). Второй вектор ошибок вычисляется для сети КК следующим образом. Значения активности скрытых нейроном МП, генерируемых текущим учебным образцом, подаются на КК и сравниваются со значениями нейрона -победителя карты имеющим метку класса текущего учебного образу. То есть, элементы КК конкурируют за вектор значений активности скрытого слоя МП, но в процессе конкуренции участвуют только нейроны К К имеющие мет-
Персептрон
Карта Кохонена
1. Архитектура гибрщюй нейронной сети
28
Т-Сотт, #11-2010
ТЕХНОЛОГИИ ИНФОРМАЦИОННОГО ОБЩЕСТВА
ку клосса, соответствующую текущему учебному образцу. Разность между вектором значений активности скрытого слоя МП и вектором значений весов нейрона-победителя КК и является ошибкой карты — ОERROr- & слУчое- если нейрона КК с меткой клосса соответствующего текущему учебному образцу не найдено, то вектор аюм ERROR инициализируется нулями. В результате ошибка скрытого нейрона МП вычисляется по формуле:
((1 )^(г й ^.га догм ) г>/
Оги.* • і» і «>і oeai і і йёб aa.
где а обозначает влияние онибки К К, которое обычно устанавливается равным 0,25, в случае когда ос = 0 мы имеем стандартное обратное распространение ошибок, г — показатель надежности, ! — пороговое значение показателя надежности, обычно равное 0,95.
Представим промесс обучения гибридной сети МП-КК в формализованном виде:
1. Инициализация весовых значений МП и КК случайными значениями. Метки классов всех нейронов КК устанавливаются как неизвестный класс, значения счетчиков классов и надежность равны 0.
2. МП обучается в течение фиксированного числа эпох т. На каждой эпохе выполняется:
2.1. Для всех учебных образцов и соответствующих им выходных классов вычисляются векторы значений активности скрытого слоя и эти векторы используются для обучения КК, вьыисляется 0Вр_50м ЕККОК и обновляются весовые значения МП.
2.2. После каждых л циклов (1 <п<т) метки классов и показатели надежности элементов КК вычисляются заново. То есть, первые циклов имеет место стандартное обучение МП, так как все метки нейронов КК равны неизвестному классу.
По завершению обучения МП может работать самостоятельно в автономном от КК режиме.
Выводы
Предложенная нейросетевая структура позволяет повысить эффективность и устойчивость обучения по сравнению с методом обратного распространения ошибки. Эффект достигается путём учёта при обучении двух различных факторов оптимизации.
Наиболее существенным ограничением области применимости предложенной нейросетевой структуры является её высокая вычислительная сложность. Однако в настоящее время широкое распространение устройств массивно-параллельных вычислений (технология CUDA) позволяет рассчитывать на преодоление приведённого ограничения.
Литература
1 Адквмов GG Классификация и распознавание сигналов систем радиосвязи с использованием нейронных сетей различной топологии [Текст] / Аджемов СС, Виноградов АН., Лебедев АН., Терешонок М.В., Чцхзв ДС. //Труды МТУСИ. - М., 2007. - С168-170. - Библиогр.с 170.
2 Терешонок МЛ. Применение искусственных нейронных сетей для распознавания цифровых радиосигналов [Текст] / В**югрсщов АН., Лебедев АН., Терешонок MB. // Труды МТУСИ. — М, 2006. — С136-147. — Библиогр.: с. 146-147.
3 Терешонок МА Классификация и распознавание сигналов систем радиосвязи [Текст] Дерешонок М.В./Д-Comm. Телекоммуникации и транспорт. — №6. — М, 2008. — С28-31. — Библиогр. сЗ 1.
4 СЫс А. Associative Engines: Connectionism, Concepts, and Represerrtaional Change [Текст]. — MIT Press. — 1993.
5 Как» P. Основные концепц ии нейронных сетей. [Текст]: Пер. с англ. - М.: Вильямс, 2003. - 288 с
6 Хайо*н С Нейрошые сети: полный курс [Текст]. — М.: Вильямс, 2006. -1104 с.
T-Comm, #11-2010
29
