Устойчивость и стабилизация нейронных сетей Хопфилда с запаздыванием Текст научной статьи по специальности «Математика»

Бойков И.В., МойкоН.В.

Пензенский государственный университет

УСТОЙЧИВОСТЬ И СТАБИЛИЗАЦИЯ НЕЙРОННЫХ СЕТЕЙ ХОПФИЛДА С ЗАПАЗДЫВАНИЕМ

1. Введение.

Начиная с публикации основополагающих работ Хопфилда [1,2], класс рекуррентных нейронных сетей, известных как нейронные сети Хопфилда (НСХ) активно изучается [3,4] . Наибольшее применение НСХ нашли при решении оптимизационных задач и при построении ассоциативной памяти. При решении оптимизационных задач строится функция энергии нейронной сети и ее экстремальные значения связываются с неподвижными точками сети, реализующими локальные и глобальный минимумы. Для эффективного решения этой задачи необходимо, чтобы НСХ была асимптотически устойчива относительно неподвижной точки, ассоциированной с глобальным минимумом. Таким образом, исследование устойчивости НСХ является актуальной задачей.Имеется обширная литература, посвященная устойчивости НСХ с запаздыванием и без запаздывания [518] . При этом, в основном, рассматриваются НСХ с непрерывными функциями активизации. НСХ с разрывными функциями активизации исследованы в работах автора [5,6] .НСХ также используются как ассоциативная память. При этом с каждой устойчивой неподвижной точкой нелинейной НСХ связывается элемент памяти. Таким образом, возникает задача построения нелинейных НСХ, имеющих как можно больше асимптотически устойчивых неподвижных точек. Исследованию ассоциативной памяти, основанной на НСХ, посвящено значительное число работ, в частности [7,19] .

Однако, даже наличие асимптотической устойчивости неподвижных точек и существование областей их притяжения, оказывается недостаточным для эффективного функционирования НСХ. Нетрудно построить НСХ с асимптотически устойчивой неподвижной точкой, к которой сеть будет сходиться как угодно долго. Поэтому возникает проблема стабилизации НСХ к неподвижным точкам. Насколько авторам известно, эта проблема до настоящего времени не исследована.

2. Устойчивость нейронных сетей Хопфилда

В работах [5] - [8]исследована устойчивость нейронной сети Хопфилда

dxk (t)

dt

= -ak (t) xk (t) + Ё wki (t)j (x (t-*)) + *k, (1)

i=i

k = 1,2,..., n снепрерывнымии разрывнымифункциями активации j , l = 1,2, к, n .

Данная работа посвящена исследованию нейронной сети Хопфилда

dXdp- = -ak (t)xk W +j[£Wk (t)x(t-t)j+1k, (2) k = 1,2..n ,

в предположении, что j(u) - гладкая функция, —¥ < u < ¥ .

Пусть x*(t) = {x1*(t),..., x*(t)} - решение системы уравнений (2) при нулевых начальных услови-

ях. Исследуемустойчивость решения x*(t)при возмущении начальных условий.

Сделаем замену переменных: Xk (t) = Zk (t) + X^ (t) , k = 1,2, ..., n . Тогда система уравнений (2) примет вид

^dtT = —ak (t) Zk (t) + j(x wkl (t)(zk (t — t)+ x* (t — t)) — j['t wkl (t) X* (t — б 1] , (3)

k = 1,2....n .

Устойчивость системы В промежутке времени

^ = — ak (t) Zk (t), (4)

(3) будем исследовать отдельно в промежутках времени 0 £ t <t система уравнений (3) имеет вид

0 < t<t и

t< t <¥ .

k = 1,2, к, n .

Исследуем устойчивость тривиального решения системы уравнений (4) при начальном возмущении Zk (0) = pk , k = 1,2.n , (5)

где^(0)|| < S , d = const > 0 . Здесь Z (°)={Zk (°)} k = 1,2.n .

Можно показать [6], что при выполнении условия ak (t) > 0 , 0 < t <t, k = 1,2,..., n тривиальное решение

системы уравнений (4) устойчиво.

При выполнении условия ak (t )> a > 0 , 0 < t <t, k = 1,2, к, n , тривиальное решение системы уравнений (5) асимптотически устойчиво.

В обоих случаях эти условия гарантируют нахождение траектории решения задачи Коши внутри шара B (0, S) в течение промежутка времени [0, t] .

Перейдем к исследованию устойчивости решения системы уравнений (3) при t > t.

В качестве начального значениявозьмем решение задачи Коши (3), (5) в момент времениt =t . Следовательно, будем рассматривать систему уравнений (3) при начальных условиях Zk (t) , k = 1,2, к, n .(6)

Очевидно, ||z(t)|| < S0 .

Предположим, что функция j(t) разлагается в равномерно сходящийся ряд на числовой оси.

Замечание. Как будет видно из дальнейших рассуждений, достаточно равномерной сходимости на сегменте [—С, с] , где С - фиксированное целое число.

Тогда систему уравнений (3) можно представить в следующем виде

dzk (t)

dt

¥ n j j)(x** (t -r)) j

a (t)z (t) + ЁЁ——-(z/ (t-r)) wki (t) - <7>

j=1 l =1

k = 1,2, k, n , j = 1,2,... , t <r<¥ ,

Исследуем устойчивость решения задачи Коши (7) , (6).

Для простоты предположим, что все функции, входящие в сумму

Ё Ё j j}(xi(t -r))

Ё Ё j! -

равномерно ограничены по модулю константой B . Ниже это ограничение будет снято.

j (x (t-r))

Покажем, что при выполнениипри t > r условий -dj (t) + Ё|wjv (t)| ■

1!

< 0 , i = 1,2,..., n , решение задачи

Коши(7),(6)устойчиво.

Доказательство проведем от противного. Предположим, что в момент времени T траектория задачи Коши (7) , (6) покидает шар B (0,2d0) , проходя через точку z(T) .

Не ограничивая общности можно считать, что |z1 (T )| = 2d0 , \zk (T )| < 2d , k = 2,3,..., n .

Представим систему уравнений (7) в следующем виде

dzk (t)= „ (r). u) + ,T) j(x'(T -r)) z, (T -r) .

dt - = ~ak(T) zk(t) + Ё wkl(T) v 1!

z1 (T )

z1(t)

j(x*(t -r)) z, (T - r) _

-(ak(t)-ak(T))zk(t) + Ё (wkl(t)-wk,(T^ —dl—- ^(T) z1(t)

+Ё wkl (t)

j(x' (t - r)) - j(x (T - r)) Z, (T - r) 1! z, (T )

z1 (t)+

+iw„ (t z (t-r)-z(T-r)

l =1 1 !

•'V Ч ____________Ё7 (t) +

z1 (T) z1 (t) +

+Ё w, (t) zztTy(z1 (T)- z (t)) -

(z, (t -r))Jwk, (t) ,(8)

Ё Ё j’ (x'(t -r)) +h Ё j!

k = 1,2....n .

Из непрерывности функций ak (t) , wki (t) , jj) (t) , z* (t) , k, l = 1,2, ..., n , j = 1,2,... , и равномерной огр

ограни-

ченности функций -1 j^)(x* (t - r)) , l = 1,2,..., n ,

следует, что для любого

любого e (e > 0)

найдется такой промежу-

времени [T,T1] , T1 = T + DT , что при t ,ti] Ht жнz (t )i, где v(t) = {y(t).Vn(t)} ,

j(xi(T -r)) z (T -r) _

Vk(t) = -(ak(t) - ak(T))zk(t) + Ё (wk, (t) - wkl(T)) 1 1! z (T)

j(x*(t -r))-j(xi(T -r)) z (T - r)

z1 (t) +

n

+Ё wkl (t)

l=1

n j ( x,

'vkl *

1! z1 (T )

j( xi(f -r)) z, (t-r)-z, (T-r)

+Ё wkl (tzi (T )

, j(xi(t -r)) z, (t - r)

z1 (t) +

z1 (t) +

j ‘) (x* (t - r))

+^ wkl (t )r Vl (z (T) - z1 (t)) + Ё ЕУ (z, (t - r))1 wkl (t) Буд

ем считать, что в промежутке

j=2 l =1

времени [T T1] ||z (t - r)|| < ||z (T ^ . В противном случае, вместо сегмента [T ,T1~] можно взять меньший промежуток времени [T T ], где Г2 < T1 .

Введем матрицу B = {bj} , i, j = 1,2,., n , элементы которой равны:

b1 =-a (T) + Ё wv (T

l =1 1!

j(x* (T - r)) z, (T -r)

; b„ = 0 при i * j , i, j = 1,2.n ,

l =1 ■! z1 (T )

b, = -a, (T) , i = 2,3.n .

Тогда систему уравнений (8) в операторной форме можно записать в виде уравнения

dzit!

dt

= Bz(t) + y(t) . (9)

Решение уравнения (9) при начальном условии z(T) ра

n

n

l =1

ток

n

z(t) = eB(t T z(T) + JeB(T)(t ssy (s)ds .(10)

Переходя в (10) к нормам, имеем ||z(t)|| < eA(B)(t T ||z(T )|| + JeA(B)(t s)|ys||ds , где A(B) -логарифмическая норма

T

матрицы B . Так как в промежутке времени t є [T,T1] |y(s)||<f|z (s)|| , то в этом промежутке t

||z (t )||< eDB (t T }| z (T )|| + *J eA(B)(t-s)| z (s)|| ds . (11)

T

Введем функцию j(t)= eAB) \\z (tI . Тогда неравенство (11) принимает вид

t

p(t) < p(T) + fJ p(s)ds . (12)

T

Применяя к (12) неравенство Гронуолла - Беллмана, имеем p(t )< esf( T p(T) .Возвращаясь к нормам, приходим к неравенству

||z (t )||< dA{B W( T) ||z (T )|| .(13)

Так как значение сможет быть сделано как угодно малым, то из неравенства (13) следует, что если логарифмическая норма матрицы B (T) отрицательна, то в интервале времени [T,Ti]траектория задачи Коши (7), (6) не покидает шара B (0,2d) . Таким образом, при выполнении условия A(B (T)) < 0 получено противо-

речие .

Следовательно, при выполнении условия A(B (T ))<0 система уравнений (3)устойчива.

п ppxl (T — т))

Условие A(B)< 0 означает, что —dj (T) < 0 , j = 2,3 п , —a1 (T) + 2 \wv (T )| •— ---------- < 0 .

і =i 1!

Напомним, что матрица B была построена в предположении, что |z, (T )| = 2d . Так каквозможны и другие предположения: |z (T )| = 2d , j = 2,3.п , то в общем виде условие устойчивости имеет вид: для всех T ,

T >т

—a (T) + 2 Ь (T )|-

p( x1(T — т))

1!

< 0 , (14)

j = 1,2,3, ..., п .

Исследуем асимптотическую устойчивость задачи Коши (7) , (6) . Пусть при всех t , t >т будут выпол-

нены условия

п

—a (t) + 2Ь (t)•

і =1

p'( x*(T —т))

1!

<— c , (15)

j = 1,2,3, к, п , c> 0 . Тогда, как показано выше, решение задачи Коши (7), (6) устойчиво. Из условия (15) следует, что траектория решения задачи Коши (7) , (6) при всех значениях t , t>0 не покидает

шара B (0,2d0) . Возьмем£0 таким, что 4d0 </и представим систему уравнений (1.7) в виде

dzk (t)

dt

= —а и ) z.

(T)zk (t) — (ak (t) — ak (T))zk (t) + Ук (t) , (16)

где Ук (t ) = 22

j=1 I=1

" p(j 1 (x* (t — т)),

-(zi (t — т))j 4i (t) , k = 1,2.п .

Пусть ak (t) , к = 1,2, к, п , равномерно непрерывная функция и пусть DT такой промежуток времени, что

la (t + DT ) — a (t)| < f при всех t > U , . Обозначим через A (T ) матрицу с элементами а(T ') = —aj (T ) ,

a (T ) =P , j *j,

через

D (t) вектор D (t) = (ay) — a2(T),..., ап(t) — aJJ))T, а через y(t) — вектор

у(() = (y (t) yn (t)). Тогда систему (16) в операционной форме можно представить в виде

dz(t)

dt

= A (T) z (t) + D (t) z (t ) + y(t) . (17)

Решение уравнения (17) имеет вид

:(t) = eA(T)(t —T6(T) + JeA(T)(t—s) (D (s)z(s) + y(s))ds .(18)

Переходя к нормам, имеем

||z (t )|| < eA(A(T ))(t—T ^ ||z (T )|| + J eA( A(T )(t—s)) I f J z (s)|| + B 2d I ds < < eAi-A{T ))(t—T ^ ||z (T )| + J eA(A(T ))(t—s) (f | z (s)|| + f) ds-

T

T

T

T

= еЛ<A(T ))(t-т > llz (T)|| + e f ел(A(T ))(t-s) llz (s)\\ ds + /1 , (1 - ел(A)(t-T )) (19)

II ^ n j II ^ n л A (T) I !

Л(A (T ))l

Напомним, что предполагается отрицательность Л(A(T)) при всех T , T >t . Зафиксируем положительное число £2 , величина которого будет определена ниже. Обозначим через [T,T + AT ] интервал времени, в течение которого

еЛ(A(TЖ<-T) ||z (T )|| +1_£_r (1 - eL(A(T))(t-T>) £ е(л(A(T])+£2)(t-T) llz (T )|| (20)

11 v Л( A (T ))|v > 11 v

В интервале [T,T + AT ] неравенство (19) можно усилить:

Ja{a(t ))+£2 )(t-T )||

'■(T )ll + £j'

,л( A(T ))(t-s)

||z(t)|| £ e'"'"'' " ' ' ||z(T )|| + e| e

1 /,\ (L(A(T ))+£2 )(t-T)

Введем функцию j(t ) =

t

j(t) £ j(T ) + ef j(s)ds .(22)

|z(s)||ds . (21)

z(t) . Тогда неравенство (21) можно переписать в виде

Применяя к (22) неравенство Гронуолла-Беллмана, имеем j(t) £ ел(A(T]+£+£2)(t-Tj(T) . Переходя в последнем неравенстве к нормам, имеем

||z(t)|| £ е(л(A(T))+£+£2)(t T) ||z(T )|| . Таким образом, в течение промежутка времени [T, T +AT ] ||z(t)|| < ||z(T )|| . Продолжая этот процесс, получаем последовательность интервалов времени [T0,Ti] , [T1T2] , ... , [Tn,Tn+i] , ...

,в течениекоторых

||z (t )|| £ е(л( A(T* »+£+£2 )('Т ) ||z (Tk )|| ,(23)

t є[тк Т+1 ], k = 0,1. To = t.

Пусть ATk = Tk +1 - Tk , k = 0,1,... Так как по предположениюл(A (Tk )) £ -c , k = 0,1,... , то объединяя неравенства (23), имеем при t e[Tn,Tn+1 ]

Ilz(0||£exp{(-c + £ + £2)(t-0}I|zMil.(24)

T

Обозначим через T

£ ATk

Имеется две возможности

1)

T

2) T*<¥ .В случае, если выполня-

ется первая возможность, из неравенства (24) следует, что lim ||z(t)|| = 0 . Следовательно, в этом случае доказанаасимптотическая устойчивость нейронных сетей Хопфилда.

Рассмотрим вторую возможность. Так как нейронная сеть рассматривается в промежутке времени [0, ■») и

все ее параметры непрерывны, то в момент времени T

возникают две новые возможности: а)

lz (T 1=0

б) ||z(Т*)| * 0 . В случае

если llz (Т 11 =0

то асимптотическая устойчивость нейронной сети Хопфилда дока-

зана

Рассмотрим возможность б). Так как в момент времени T

Iz (Т110

то взяв

z (Т *)

за начальное

приближение, повторим предыдущие рассуждения. В результате получаем последовательность Тл* ,

Т* = Т * < Т1* < ... < Т* < ... такую, что ||z(т;)||> ||z (т„*+11, n = 0,1. При этом во всех интервалах времени

t є T*,Tk*+1 ] выполняется неравенство (23) . Обозначим через Т** момент времени, при котором неравенство (23) нарушается. Взяв z (Т **) за начальное приближение и повторяя сделанные выше рассуждения, убеждаемся,что при всех t є [t, ¥) справедливо неравенство (23) . Следовательно, lim ||z(t)|| = 0 . Таким образом и в случае б) имеет место асимптотическая устойчивость.

Остановимся теперь на выборе константы £2 . Очевидно, в качестве £2 можно взять £2

Величина £ зависит от d0 , которое можно выбрать a-ргіогіи добиться выполнения неравенства (20) .Таким образом, при выполнении условий (15) и условий, накладываемых на рост коэффициентов в разложении функции j(t) в степенной ряд, доказана асимптотическая устойчивость нейронных сетей Хоп-филда.

3. Стабилизация нейронных сетей Хопфилда.

Задачу стабилизации нейронных сетей Хопфилда (НСХ) изложим на примере НСХ (2) с непрерывной функцией активации. Введем в систему (2) управляющее воздействие u(t), которое описывается системой уравнений

u(t)= K(t)y(t),y(t) є R,,u(t) є Rm, (25) y(t) = Cx(t), (2 6)

На нейронную сеть (2) управление u(t) передается операторным уравнением

dXt) = -Ax(t) + G(x(t-t)) + BK(t)Cx, (27) dt

в котором определение матрицы A и вектора G очевидны.

Система уравнений (27) описывает проблему Брокетта стабилизации нейронных сетей. Как отмечается в [25], проблема Брокетта является одной из важнейших открытых проблем в теории управления.

Проблема формулируется следующим образом. Дана тройка матриц A, B и C . Требуется найти матрицу K (t) осуществляющую асимптотическую стабилизацию системы (27) к тривиальному решению.

Решению проблемы Брокетта посвящено большое число работ, библиография большинства из которых приведена в книгах [25] , [6] .

В книге [6] приведены необходимые и достаточные условия существования матриц K(t), осуществляющих асимптотическую стабилизацию систем уравнений без запаздывания с линейными и нелинейными функциями активации. В статье [26] приведены необходимые и достаточные условия существования матриц K (t), осуществляющих асимптотическую стабилизацию систем уравнений с запаздыванием и с линейными и нелинейными функциями активации.

Объединяя результаты главы 5 книги [6], статьи [26] и второго раздела данной статьи, можно сформулировать необходимые и достаточные условия стабилизации нейронных сетей Хопфилда.

ЛИТЕРАТУРА

1. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities// Proceeding of the National Academy of Science. 1982. 79. p. 1554-2558

2. Hopfield J.J. Neurons with graded response have collective computational properties like those of two-state neurons// 1984, 81. P.3088-3092

3. Hopfield J.J., Tank D.W. Computing with neural circuits: a model// Science. 1986. 223. p. 625633

4. Tank D.W., Hopfield J.J. Simple "neural" optimization networks: A/D converter, signal decision

circuit, and linear programming circuit// IEE Transactions on Circuits and Systems, 1986. 32. p.

513-541

5. Бойков И.В. Устойчивость нейронных сетей Хопфилда//Автоматика и телемеханика. 2003. № 9. с.

124-140

6. Бойков И.В. Устойчивость решений дифференциальных уравнений. Пенза. Изд-во ПГУ 2008. 244с.

7. Бойков И. В. Устойчивость нейронных сетей Хопфилда с запаздыванием// Известия высших учебных заведений. Поволжский регион. Физико-математические науки. Математика. 2012 г. №2С.85-97.

8. Бойков И. В. Критерии устойчивости нейронных сетей Хопфилда и их применение дляпрограммной и аппаратной стабилизации информационных систем/ Вычислительные системы и технологии обработки информации: Межвуз. сб. науч. тр./ Под ред. В.И.Волчихина.- Пенза: Изд-во ПГУ, 2011.-вып. 10(33).- С.113-125 .

9. Abe S., Gee A.H. Global convergence of the Hopfield neural network with nonzero diagonal elements// IEEE Transactions on Circuits and Systems-II, 1995. 42(1). p. 39-45

10. Bhaya A., Kaszkurewicz E., Kozyakin V.S. Existence and stability of a unique equilibrium in continuous-valued discrete-time asynchronous Hopfield neural networks// IEEE Transactions on Neural

Networks, 1996. 7(3). p. 620-628

11. Cao J.D., Tao Q. Estimation of the domain of attraction and the convergence rate of a Hopfield associative memory and an application// Journal of Computer and System Sciences, 2000. 60.

p.179-186

12. Cao J.D., Tao Q. Estimation on domain of attraction and convergence rate of Hopfield continuous feedback neural networks// Journal of Computer and System Sciences, 2001. 62. p. 528-534

13. Cao J.D., Wang J. Global asymptotic stability of a general class of recurrent neural networks with time-varying delays// IEEE Transactions on Circuits and Systems-I, 2003. 50(1). P. 34-44

14. Chen T.P., Global exponential stability of delayed Hopfield neural networks// Neural Networks, 2001. 14. p.977-980

15. Chy T.G. An exponential convergence estimate for analog neural networks with delay// Physics Letters A, 2001. 283. p.113-118

16. Hanna M.T. On the stability of a Tank and Hopfield type neural network in the general case of complex eigenvalues// IEEE Transactions on Signal Processing, 2000. 48(1).p.289-293

17. Hwang C.C., Chen C.G., Liao T.L. Global exponential stability of generalized Cohen -Grossberg neural networks with delays// Physics Letters A, 2003. 319. p.157-166

18. Jang X., Liao X., Li C., Evans D.J. New estimate on the domains of attraction of equilibrium points in continuous Hopfield neural network//Physics Letter A. 2004.

19. Liao X.F., Wang J., Cao J.D. Global and robust stability of interval Hopfield neural networks with time-varying delays// International Journal of Neural systems, 2003. 13 (3) . p. 171-182

20. Sun C.Y., Feng C.B. Global robust exponential stability of interval neural networks with delays// Neural Processing Letters, 2003. 17. p.107-115

21. Wang L. Stability of Cohen - Grossberg neural networks with distributed delays// Applied Mathematics and Computation, 2005. 160. p.93-110

22. Zhang J.Y., Jin X.S. Global stability analysis in delayed Hopfield neural networks models// Neural Networks, 2000. 13. p.745-753

23. Michel A.N., Farrell J.A., Sun H.F. Analysis and synthesis techniques for Hopfield type synchronous discrete time neural networks with application to associative memory// IEEE Transactions on Circuits and Systems, 1990. 37 (11) . P. 1356-1366

24. Wu A., Zhahg J., Fu C. Global Asymptotical Stability of Delayed Impulsive Neural Networks without Lipschitz Neuron Activations// European Journal of Pure and Applied Mathematics. 2010. V.

10. № 5. P.806-818.

25. Леонов Г.А., Шумафов М.М. Методы стабилизации линейных управляющих систем. С-Пб.: Изд-во С.Петербург . гос . ун-та. 2002. 308 с.

26. Бойков И.В. Проблема Брокетта для систем нелинейных дифференциальных уравнений с ем// Известия высших учебных заведений. Поволжский регион. Физико-математические науки. 2011г. №4(20)с. 3-14.

запаздывани-Математика.