Влияние флуктуаций весового вектора на характеристики нейронной сети с настройкой по критерию наименьшего среднего квадрата ошибки Текст научной статьи по специальности «Физика»

УДК 681.3

С. В. Зимина

Нижегородский государственный университет им. Н. И. Лобачевского

Влияние флуктуации весового вектора на характеристики нейронной сети с настройкой по критерию наименьшего среднего квадрата ошибки

Представлены результаты статистического анализа искусственных нейронных сетей (ИНС), настраивающихся по ЬМБ-алгоритму с квадратичным ограничением, при учете флуктуаций весового вектора. Получены выражения для корреляционной функции выходного сигнала искусственных нейронов различных слоев сети. Показано, что флуктуации весового вектора приводят к искажениям статистических характеристик ИНС, причем искажения, вносимые флуктуациями, увеличиваются по мере увеличения номера слоя сети.

Искусственная нейронная сеть, флуктуации весовых коэффициентов, ЬМЭ-алгоритм с квадратичным ограничением

Искусственные нейронные сети позволяют решать широкий спектр задач, связанных с обработкой сигналов: выделение полезного сигнала на фоне помех, распознавание изображений, анализ неформализованных математически данных, в связи с чем постоянно привлекают к себе внимание исследователей [1], [2]. Скорость обработки данных и точность настройки ИНС во многом определяют флуктуации настраиваемых весовых коэффициентов передачи искусственных нейронов сети. В [3]-[5] проведен анализ статистических характеристик ИНС с различными алгоритмами настройки с учетом флуктуаций весового вектора и показано, что флуктуации приводят к искажениям выходного сигнала ИНС и к появлению в статистических характеристиках ИНС дополнительных членов, обусловленных флуктуациями.

Представляет интерес анализ характеристик ИНС, настраивающейся по ЬМБ-алгоритму1 с квадратичным ограничением на коэффициент усиления полезного сигнала [6], с учетом флуктуаций весовых коэффициентов. Указанный алгоритм является современной модификацией ЬМБ-алгоритма, предложенного Уидроу [7]. Применение последнего алгоритма встретило трудности, выражающиеся в неконтролируемом подавлении полезного сигнала в случае, когда помеха коррелирована с сигналом. Модифицированный ЬМБ-алгоритм этого недостатка не имеет. В настоящей статье приведены результаты статистического анализа корреляционных характеристик ИНС, настраивающейся

1 ЬМЗ-алгоритм - алгоритм настройки по методу наименьшего квадрата (МНК - ЬМ8) ошибки.

по алгоритму [6], полученные при учете флуктуа-ций настраиваемых весовых коэффициентов.

Постановка задачи. Классические нейросе-тевые алгоритмы большей частью предназначены для решения других типов задач, например для задачи распознавания образов или задач предсказания, и в них чаще всего используется обучение с учителем, а также конкретный вид ИНС [1].

В задаче выделения полезного сигнала на фоне помех необходим алгоритм обучения ИНС без учителя, поэтому для решения задачи был выбран многослоевой персептрон.

Эти условия существенно ограничивают выбор алгоритма настройки сети, что и побудило обобщить ЬМБ-алгоритм с квадратичным ограничением для работы в ИНС. Кроме того, использование одного и того же алгоритма для настройки адаптивных антенных решеток и ИНС позволяет сравнивать значения искажений, вносимых флуктуациями весового вектора в статистические характеристики обоих типов адаптивных систем.

Рассмотрим работу ИНС, имеющей М слоев и N нейронов в каждом слое, и решающей задачу выделения полезного сигнала на фоне помех. Такие задачи встречаются в радиолокации и в сотовой связи. Например, адаптивная система может обеспечить качественный прием сигнала в телефонии с гашением имеющихся помех и выделением голоса или в телевидении, обеспечивая в этом случае устойчивый прием телевизионного сигнала.

Настройка вектора весовых коэффициентов Wp¿ (к +1) /-го искусственного нейрона р-го слоя

ИНС, настраивающейся по ЬМБ-алгоритму с квад-

26

© Зимина С. В., 2015

ратичным ограничением на усиление полезного сигнала, в момент времени (к +1) описывается уравнением

(к +1) = (к)- ц^р-1 (к) Е \ьнр-1 (к) (к)

Е

^нр-1 (к) 'р/ (к)

-8Е

Е

8н (к)

8н (к)

, (1)

где ц - коэффициент адаптации ЬМБ-алгоритма с квадратичным ограничением; Z р-1(к) - вектор выходного сигнала слоя (р -1) ИНС в момент времени к; Е[•] - нелинейная активационная функция рассматриваемого искусственного нейрона; 8 = [^1, 5^2, ..., SN ]т - вектор полезного сигнала; н , т - символы операций эрмитова сопряжения и транспонирования соответственно.

Выражение (1) - обобщение ЬМБ-алгоритма с квадратичным ограничением для работы ИНС. Исходно данный алгоритм предназначался для настройки адаптивных антенных решеток в задачах выделения полезного сигнала на фоне помех [6]. В рассматриваемом примере ИНС выполняет аналогичную задачу.

Выходной векторный сигнал (р - 1)-го слоя

ИНС Zр-1(к) является одновременно входным

сигналом ■-го нейрона р-го слоя. Выходной сигнал этого нейрона 2 (к) может быть записан в виде

2рг (к)= Е

N

I 2(р-% (к^рщ (к)

4=1

N ,

= Е [ ур1 (к)] = I щу1р1 (к) = А т \р1 (к),

I=1

где N - количество нейронов в (р - 1)-м слое; Ург(к) - выходной сигнал линейной части /-го нейрона р-го слоя;

А = [аь а2, ..., а1, ..., аN1 ]т

- вектор коэффициентов разложения функции Е в ряд Вольтерра [8] размера N1;

Yp/(к) =

Ур/ (к), у2р/ (к), ..., у11 (к)

'рг

- вектор степеней выходного сигнала линейной части /-го искусственного нейрона, принадлежащего слою р.

Рассмотрим ИНС, в которой все нейроны являются узкополосными. Тогда корреляционная матрица входных сигналов каждого из таких искусственных нейронов в р-м слое будет иметь вид

Яр (к, к + п) = (Zp (к) Zp (к + и)) = ^г|п|,

где п - временной сдвиг между сигналами; О -символ усреднения; <^р - пространственная часть

корреляционной матрицы входных сигналов; г -коэффициент корреляции между отсчетами входных сигналов.

Корреляционная матрица Яр имеет разный

вид в зависимости от номера слоя ИНС. В рассмотренном в настоящей статье частном случае одинаковой помеховой обстановки, подаваемой на все нейроны входного слоя, для всех скрытых слоев ИНС корреляционная матрица будет иметь в качестве всех своих элементов единицы. Во входном слое эта матрица будет равна корреляционной матрице входных сигналов ИНС.

Коэффициент корреляции г между отсчетами принимаемого ИНС полезного сигнала определяет его вид. Если г = 0, то ИНС принимает "белый" шум. Если же г «1, ИНС принимает близкий к детерминированному синусоидальный сигнал. Все промежуточные значения коэффициента корреляции обеспечивают плавный переход между этими двумя типами сигналов.

Значения коэффициента корреляции влияют на особенности выделения адаптивной системой полезного сигнала на фоне помех. В ранее опубликованных работах показано, что возможны два эффекта искажений полезного сигнала - эффект рассогласования [7], [9], [10] и эффект "перекомпенсации" [9], [11], [12]. Первый эффект заключается в том, что адаптивная система не способна в силу флуктуаций весовых коэффициентов полностью погасить помеховый сигнал. Это приводит к появлению остаточной мощности помехи на выходе системы. Второй эффект состоит в том, что адаптивная система из-за флуктуаций весовых коэффициентов, статистически связанных с вектором входных сигналов, подавляя помеху, также подавляет и полезный сигнал. В результате мощность сигнала на выходе адаптивной системы становится меньше мощности, найденной при постоянном стационарном весовом векторе.

+

Эффект рассогласования наблюдается при сравнительно небольших значениях коэффициента корреляции. Наоборот, эффект "перекомпенсации" характерен для его высоких значений. Так, в случае адаптивной антенной решетки, настраивающейся по дискретному градиентному алгоритму с многократными линейными ограничениями, переход от одного эффекта к другому происходит при г « 0.577.

Алгоритм настройки (1) описывает скорее каскадное соединение искусственных нейронов, чем единую ИНС, поскольку весовые коэффициенты каждого отдельного нейрона зависят только от собственных значений в предыдущий момент времени и не связаны непосредственными математическими отношениями с весовыми коэффициентами других искусственных нейронов. Тем не менее, косвенное влияние весовых коэффициентов различных искусственных нейронов друг на друга существует и осуществляется через выходные сигналы элементов сети, что также следует из формулы (1).

Определим статистические характеристики описанной ИНС с учетом флуктуаций настраиваемых весовых коэффициентов. С этой целью на первом этапе анализа найдем статистические характеристики отдельного нейрона с учетом флук-туаций весового вектора, а затем обобщим полученные результаты на ИНС.

Методами теории возмущений в первом, так называемом борновском, приближении первоначально найдены статистические характеристики искусственного нейрона, настраивающегося по ЬМБ-алгоритму с квадратичным ограничением на коэффициент усиления полезного сигнала с учетом флуктуаций весового вектора. Для упрощения обобщения полученных результатов на ИНС предположим, что на входные элементы каждого из нейронов входного слоя ИНС поступают одни и те же входные сигналы, т. е. существует одна и та же помеховая обстановка. В этом случае при старте с одних и тех же начальных условий выходные сигналы искусственных нейронов в каждом слое ИНС (и, следовательно, входные сигналы в каждом последующем слое сети) будут одинаковыми, что существенно упрощает вид корреляционной матрицы входных сигналов скрытых слоев сети.

Корреляционные характеристики искусственной нейронной сети. Расчет корреляционной функции широко используется в системах связи. В частности, на ее основе можно определить, имеется ли в принимаемом сигнале полезная составляющая.

Корреляционные характеристики выходного сигнала ИНС позволяют описать полезный сигнал, который приходит на вход ИНС в смеси с помехами. Форма корреляционной функции, быстрота ее спадания, время корреляции позволяют судить о том, какой полезный сигнал принят - "белый" шум, близкая к детерминированной синусоида или какой-то промежуточный вариант. Как указано ранее, тип полезного сигнала влияет также на эффекты (рассогласования или "перекомпенсации"), возникающие в адаптивной системе из-за флуктуаций весового вектора при выделении этого сигнала системой из смеси с помех.

Анализ влияния флуктуаций на статистические характеристики ИНС выполнен при условии, что векторы входных сигналов и весовых коэффициентов каждого искусственного нейрона ИНС связаны негауссовской статистической зависимостью. Это означает, что смешанная кумулянтная функция третьего порядка для этих величин не равна нулю: (фхх^У) ^ 0, где Фхх - флуктуацион-ная часть стохастической матрицы входных сигналов Мхх (к, к + п) = Х*(к)Xт (к + п); - флуктуа-ционная часть вектора весовых коэффициентов. Это наиболее общий случай зависимости между указанными величинами, который позволяет учесть все эффекты, вносимые флуктуациями в работу адаптивной системы (эффекты как рассогласования, так и перекомпенсации). Предположение же о гауссовской статистической зависимости между вектором входных сигналов и весовым вектором (^Фхх= 0) не позволяет теоретически предсказать эффект перекомпенсации, который наряду с эффектом рассогласования наблюдается в экспериментах.

Для узкополосного искусственного нейрона р-го слоя, настраивающегося по ЬМБ-алгоритму с квадратичным ограничением, в случае негауссов-ской статистической зависимости между векторами входных сигналов и весовым вектором корреляционная функция выходного сигнала с учетом флуктуаций весовых коэффициентов может быть представлена в виде суммы:

К2р (к, к + п) = А1 + В1 + С1 + Б1. (2)

Слагаемые этой функции определяются следующими выражениями:

А1 = а? Wcнт Яхх Wcт М, (3)

где Яхх - корреляционная матрица входного сигнала; 'ст - постоянный стационарный весовой вектор произвольного искусственного нейрона первого слоя ИНС;

В1 =ц2 а4 х

1 - г2

х [$р (Яхх )'снтЯ^Яхх'ст + + Бр(Яхх )'снтЯххЯ55

(4)

где Муср - постоянный коэффициент, возникающий при усреднении в ЬМБ-алгоритме с квадратичным ограничением; Бр (•) - след матрицы;

Я^ - корреляционная матрица полезного сигнала; 2а4г 1 + г - гП М' Я3

С А Ч

1 = ц а1 г

(1 - г )2

1хх ттст т

2 4 + ц а1

(1 - г)2 (1 + г)

Бр (Яхх )'снт Яхх 'ст +

+ ц2а4гП|

1 - г

,2и+2

(1 - г2Г 1 - г'

Бр (Я^) 'ст Яхх 'ст;

'и| +3 '

(5)

А = ц2а4 г

1 - г

1 - г2 и - г2 1 - г :Бр (хх ^ Я2хх 'ст.

(6)

Из (3)-(6) видно, что корреляционная функция выходного сигнала произвольного искусственного нейрона первого слоя ИНС зависит только от сдвига во времени п между рассматриваемыми сигналами и не зависит от абсолютного времени к. Кроме того, учтем, что все нейроны входного слоя сети будут иметь на выходе один и тот же сигнал (и, следовательно, одну и ту же корреляционную функцию). Тогда можно упростить обозначение корреляционной функции в (2), заменив К2 (к, к + и) на К1 (и).

Найдем корреляционную матрицу входных сигналов второго слоя сети с учетом флуктуаций весовых коэффициентов. Согласно определению, корреляционная функция сигнала 2 (и) имеет вид

К (и ) = (2 н (к) 2 (к + и)).

Тогда из описанных свойств внутренних сигналов ИНС следует, что любые взаимные корреляционные функции между выходными сигналами любых нейронов г и 7 первого слоя будут равны между собой:

2 (к) 2]Х (к + и)) = К1 (и), г, 7 = 1, N1. (7)

Учитывая (7), запишем выражение для корреляционной матрицы выходных сигналов первого слоя ИНС (и, соответственно, входных сигналов второго слоя ИНС):

К1 (и ) =

(211 (к)2ц (к+и)) ••• (2^ (к)2^1 (к+и))

(к)211 (к+и)2Nl1 (к)2^ (к+и)^ = К1 (и) Е,

1 - Г

(8)

где Е =

1 - 1

матрица, все элементы которой

являются единицами.

Запишем далее корреляционную функцию произвольного искусственного нейрона г, принадлежащего второму слою нейронной сети. Для этого учтем, что требуемое выражение получается заменой корреляционной матрицы входных сигналов Яхх (к, к + и) на корреляционную матрицу К1 (и) (8), описывающую корреляционную связь входных сигналов данного слоя. Тогда на основании (2) искомая корреляционная функция может быть представлена полиномом по степеням корреляционной матрицы К.1(и), а с учетом (8) - по степеням корреляционной функции К1 (и). Проведя описанные преобразования, получим: К2 2 (к, к + и ) = К2 (и ) = = Л2 К1 (и) + В2К2 (и) + С2КЗ (и) + Б2К4 (и), (9) где

Л2 = а2 'с1Х2гЕ'СТ2гг и; „2

(10)

2 4 Муср |и| В2 = ц2а4 —Чт гт х

1 - г

(Бр(Е) 'М^тя + Бр ( Е ) 'снт 2/ЕЯ55 'ст2/);

(11)

С2 = ц2а4г М 'снт2/Е Чт2г +

(1 - г )2

2 4 + ц а1

(1 - г )2 (1 + г)

^р ( Е ) 'снт2гЕ2 'ст2г +

+ ц2 а4 г!и1

2 1 - г ■ +

2и+2

(1-г2)2 1-^

Бр (Е2)'снт2гЕ'ст2г,

(12)

х

¿2 = ц2 а4 г

«1+3 (

1 - г2

1 - гп 1 + -

1 - г2 1 - г Бр (Е2 Ннт2,£2 WCT2/.

Чт21Е **ст2г. (13)

По аналогии запишем выражение для корреляционной функции искусственного нейрона, принадлежащего третьему слою искусственной нейронной сети:

К2 3 (к, к + п) = К3 (п) = = А3К2 (п) + В3 К2 (п) + С3 К23 (п) + Б3 К4 (п).

Переобозначив А31 = А3; А32 = В3; А33 = С3; А34 = и учтя, что К2 (п) описывается выражением (9), получим:

К3(п) = £ А3/К2 (п )=]Г А3/ £ А2 К (п)

/=1 /=1 I У=1

Обобщив это выражение по принципу математической индукции, запишем итеративную формулу для корреляционной функции выходного сигнала искусственного нейрона, принадлежащего произвольному слою р ИНС:

4

К

,(п ) = £ Ар/1 [ Кр-1 (п )]?1

/1=1

АРЦ {£ Ар-1) [ Кр-2 (п ^ «1 =1 Ь =1

4 ( 4

£ Ар«1 £ А(р-1)2 ■■■

/1=1

V '2 =1

£ А2/р-2 [К1 (п)]'р-2.

\'р-2 =1

где

Ар1 = а1 Wст р1 Яр Wстpiг ;

Ар2 =А48р (р ^ х

1 - г

*( ^^ст РЯ р^Б Wст р/ + + Wcнт р/г 2ЯрЯ55 WCт р/) М;

(14)

(15)

(16)

Ар3 = Ц2а4г 1(+ г )г2 WcнтрЯЪрWcтр/гп + (1 - г )

2 4 г

+ ц а "

(1 - г )2 (1 + г )

: Бр(Яр^нтр,ЯрWcтрггИ1 +

2 4 + ц а

1 - г

2п+2

(1 - г2 )

1 - г2

Бр (яр)

Wн Я W г' "ст р1*»р ст рг

1 - гп

Л 2 4 г Ар4 = Ц а1

<Бр (яр)

1 - ^

Vl - г2 1 - г ^ Я2 W

'Тстрг^р 'Тстрг'

(17)

(18)

Сравнение выражений (15)—(18) с формулами (3)-(6) и (10)-(13) показывает, что (15)-(18) обобщают выражения для коэффициентов из (3)-(6) и (10)—(13). Результат зависит от номера слоя ИНС и вида матрицы Яр :

Я р =

(ЕЕ^'Т 1 (19)

Е р = 2, 3, ... .

Из (19) следует, что для входного слоя ИНС матрицей Яр является корреляционная матрица

входных сигналов. При этом формулы (15)—(18) переходят в (3)-(6). Для скрытых слоев и выходного слоя ИНС матрицей Яр является матрица

Е. Тогда для второго слоя формулы (15)-(18) перейдут в выражения (10)—(13). Для последующих слоев ИНС коэффициенты разложения корреляционной функции выходного сигнала произвольного искусственного нейрона / данного слоя также определяются формулами (15)-(18) при соответствующем значении номера слоя р.

Остановимся более подробно на выражении (14). Из него следует, что по мере увеличения номера слоя ИНС коэффициенты при корреляционных функциях выходных сигналов слоя возводятся во все более высокую степень и перемножаются между собой. В результате в корреляционной функции выходного сигнала каждого последующего слоя сети возрастает вклад быстро спадающих компонентов, пропорционально величине

„Э| п

(В - коэффициент, увеличивающийся по

мере продвижения от входа ИНС к выходу). В результате в структуре выходных сигналов искусственных нейронов по мере возрастания номера слоя сети возрастает влияние компонентов с меньшим временем автокорреляции, чем у входного полезного сигнала, который подавался на входной слой сети одновременно с помехой.

Для иллюстрации данного утверждения приведем формулу для корреляционной функции вы-

ходного сигнала произвольного нейрона, принадлежащего слою р ИНС, полученную без учета флуктуаций весового вектора:

Кр (и) = а2ргри П 'снтг^'стг, (20)

г=1

где ^г определено по (19), а весовой вектор произвольного нейрона, принадлежащего слою г 'ст/ , является постоянным и стационарным.

Сравнив (14) и (20), приходим к выводу, что во втором случае в корреляционной функции отсутствуют слагаемые, пропорциональные коэффициенту адаптации ц. Это свидетельствует о том, что без учета флуктуаций ИНС выделяет только полезный сигнал на фоне помех. Вместе с тем как при учете флуктуаций, так и без их учета с увеличением числа слоев ИНС временная часть корреляционной функции содержит все большее число быстро спадающих компонентов.

Из (20) следует, что выходной сигнал искажается даже без учета флуктуаций. По мере увеличения номера слоя ИНС меняется все сильнее вид временной части корреляционной функции выходного сигнала, пропорциональной гри. Искажений временной части нет только в однослойной ИНС: в этом случае временная часть корреляционной функции выходного сигнала такая же, как и

функции входного полезного сигнала: ^. Учет флуктуаций показывает, что выходной сигнал искажается еще больше уже за счет флуктуационных слагаемых, начиная с первого слоя ИНС. Однако искажения за счет флуктуаций весовых коэффициентов имеют второй порядок малости по коэффициенту адаптации ц, т. е. достаточно малы.

Из представленного в настоящей статье математического анализа следует, что слагаемые кор -реляционной функции выходного сигнала зависят также от первого коэффициента разложения в ряд Вольтерра нелинейной функции Е а1, которая присутствует на выходе искусственного нейрона. В частном случае наиболее распространенного вида логистической нелинейной функции или

сигмоида / (х )= 1 (1 + в~рх) [13] первый коэффициент разложения составляет а1 =р/4, причем р определяет крутизну сигмоида. При р = 0 сигмоид вырождается в горизонтальную линию на уровне 0.5, при увеличении р сигмоид при-

ближается к функции единичного скачка [13]. Для практических задач достаточно брать значение

р = 0.5...1. Тогда а4 не превосходит значения

144 = 1256 = 0.0039. В результате флуктуацион-ные слагаемые будут малы не только в силу малости коэффициента адаптации, но и по причине

малости коэффициента а4.

Если сравнить эффекты искажений из-за флуктуаций весового вектора выходного сигнала в адаптивной антенной решетке без нелинейной функции в цепи обратной связи, настраивающейся по ЬМБ-алгоритму с квадратичным ограничением и содержащей в первом слое ИНС указанный алгоритм, то для первой сети эффект будет пропорционален коэффициенту адаптации ц, а во вто-2 4

ром - величине ц а1 . Если принять ц = 0.1, а1 = 1/4, получим, что искажения, вносимые флук-туациями, в линейной адаптивной антенне будут ц 0.1

выше в

ц2 а4 0.01 • 0.0039

: 2564 раза. Следо-

вательно, нелинейная обработка существенно уменьшает вклад флуктуаций в выделяемый адаптивной системой сигнал.

Таким образом, суммарное воздействие флукту-аций весовых коэффициентов и числа слоев ИНС искажает выделяемый сетью полезный сигнал. Однако необходимо отметить, что выражения получены для частного и наиболее простого случая, когда на все искусственные нейроны входного слоя ИНС подаются одни и те же входные сигналы. При различной помеховой обстановке на входах сети результаты будут иными и, возможно, более сложными.

Полученные результаты позволяют утверждать, что флуктуации весовых коэффициентов вносят искажения в корреляционные характеристики ИНС, которые заключаются в появлении в выражении корреляционной функции выходного сигнала искусственного нейрона произвольного слоя ИНС дополнительных обусловленных флук-туациями слагаемых. Однако эти искажения имеют второй порядок малости влияния на усиление полезного сигнала по коэффициенту адаптации ЬМБ-алгоритма с квадратичным ограничением. С возрастанием номера слоя влияние флук-туаций увеличивается, что приводит к снижению качества выделения сигнала на фоне помех с помощью ИНС.

СПИСОК ЛИТЕРАТУРЫ

1. Haykin S. Neural networks: A comprehensive foundation. 2nd ed. / пер. с англ. под ред. В. В. Шахги-льдяна. Upper saddle river: Prentice-Hall, 1999. 874 с.

2. Галушкин А. И. Теория нейронных сетей. М.: ИПРЖР, 2000. 416 с.

3. Зимина С. В. Статистические характеристики искусственной нейронной сети с дискретным градиентным алгоритмом настройки с учетом флуктуаций весовых коэффициентов // Нейрокомпьютеры: разработка и применение. 2006. № 10. С. 9-15.

4. Зимина С. В. Влияние флуктуаций весовых коэффициентов на статистические характеристики искусственной нейронной сети с алгоритмом рекуррентного обращения выборочной оценки корреляционной матрицы входных сигналов // Нейрокомпьютеры: разработка и применение. 2007. № 5. С. 3-7.

5. Литвинов О. С., Зимина С. В. Статистический анализ флуктуаций весовых коэффициентов искусственной нейронной сети, настраивающейся по алгоритму Хэбба // Нейрокомпьютеры: разработка и применение. 2009. № 3. С. 33-43.

6. Орешкин Б. Н., Бакулев П. А. Алгоритм LMS с квадратичным ограничением // Антенны. 2007. № 9. C. 29-34.

7. Уидроу Б., Стирнз С. Адаптивная обработка сигналов. М.: Радио и связь, 1989. 440 с.

S. V. Zimina

Lobachevsky state university of Nizhny Novgorod

8. Пупков К. А., Капалин В. И., Ющенко А. С. Функциональные ряды в теории нелинейных систем. М.: Наука, 1976. 448 с.

9. Зимина С. В. Флуктуации весового вектора в адаптивных антенных решетках // Антенны. 2004. № 6. С. 27-35.

10. Зимина С. В. Флуктуации весового вектора в адаптивных антенных решетках с нелинейной функцией в цепи обратной связи, настраивающихся по алгоритму рекуррентного обращения выборочной оценки корреляционной матрицы входных сигналов // Изв. вузов. Радиофизика. 2006. Т. 49, № 2. С. 164-173.

11. Игнатенко С. В., Мальцев А. А. Статистические характеристики адаптивных антенных решеток при обработке дискретных сигналов с коррелированными отсчетами // Изв. вузов. Радиофизика. 1994. Т. 37, № 12. С. 1532-1545.

12. Мальцев А. А., Зимина С. В. Влияние флуктуаций весового вектора на статистические характеристики адаптивной антенной решетки с быстрым рекуррентным алгоритмом настройки // Изв. вузов.

Радиофизика. 2002. Т. 45, № 8. С. 708-721.

13. Круглов В. В., Борисов В. В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия-Телеком, 2002. 382 с.

Correlative characteristics of the neural network with LMS-algorithm tuning with square constraint with weight vector jitter

The results of statistical analysis of neural network tuning by LMS-algorithm with square constraint for weight vector jitter are represented. The expressions for correlation function of output signal of neuron of the neural of different network layers are obtained. It is shown, that the weight vector jitter leads to distortions of statistical characteristics of neural network and these distortions increase with increasing of number of neural network layer.

Neural network, weight vector jitter, LMS algorithm tuning with square constraint

Статья поступила в редакцию 9 апреля 2015 г.