CC BY
29
устойчивость двухслойных рекурсивных
w ___w А
нейронных сетей1
С.А. Иванов
Получены численные критерии устойчивости двухслойных дискретных нейронных сетей. Построены области устойчивости в пространстве параметров для таких сетей. Задача сводится к проблеме устойчивости матричных разностных уравнений высоких порядков с запаздыванием. Основным средством решения проблемы являются конусы устойчивости.
Ключевые слова: нейронные сети, разностные матричные уравнения, устойчивость разностных уравнений, двухслойные сети.
Введение
В статье рассмотрены двухслойные нейронные сети с одинаковыми запаздываниями во взаимодействии между нейронами в сети. Такие модели имеют широкое применение в различных областях знаний.
Связи двухслойной сети с тремя нейронами в каждом слое изображены на рис. 1.
В результате линеаризации вокруг стационарного решения уравнений двухслойной нейронной сети получается линейное матричное разностное уравнение
X, =у1х!-1 + Вх,-к, 5 = 1,2... , (1)
где х5 - вектор сигналов нейронов в момент 5 . Вектор х5 размерности
2п характеризует отклонения сигналов нейронов от стационарных, I единичная 2п X 2п матрица, уф —У< 1) коэффициент затухания колебаний нейронов, В - матрица размера 2п X 2п , характеризующая взаимодействия между нейронами в сети, к - запаздывание во взаимодействии между нейронами, п - число нейронов в каждом слое.
Уравнение (1) принадлежит классу матричных разностных уравнений вида:
х, = Ах,—1 + Вх, - к, 5 = 1,2... (2)
которые обладают важным для нас свойством: матрицы А, В могут быть приведены к треуголь-
ному виду одним преобразованием. Поэтому мы имеем возможность применить метод конуса устойчивости [4] для устойчивости этих уравнений. На основе этого метода были изучены другие нейронные сети стандартных конфигураций [1, 2, 5]. Непрерывные модели исследованы в [3].
Матрица В, например, двухслойной сети, состоящей из шести нейронов, имеет следующий
вид:
Рис. 1: Двухслойная нейронная сеть
B =
' 0 0 0 a a a
0 0 0 a a a
0 0 0 a a a
b b b 0 0 0
b b b 0 0 0
v b b b 0 0 0
(3)
где а - сила воздействия нейронов первого слоя на второй, Ь - сила обратного воздействия.
Мы ставим задачу изучить область устойчивости системы (1) в пространстве параметров а, Ь при разных значениях у, п и к .
1 Работа поддержана грантом Министерства образования и науки 1.1711.2011 и грантом для аспирантов Челябинского государственного педагогического университета.
2 Иванов Сергей Александрович - аспирант, кафедра математического анализа, Челябинский государственный педагогический университет.
E-mail: [email protected]
Краткие сообщения
Конус устойчивости для диагностирования устойчивости нейронных сетей
В работах [4, 6] введены конусы устойчивости для диагностирования устойчивости систем вида (2) с матрицами A, B, одновременно приводимыми к треугольному виду. Аналогичные конусы устойчивости для дифференциальных уравнений введены в [7]. Для решения задачи устойчивости двухслойных нейронных сетей нам понадобится техника конусов устойчивости, которую мы здесь изложим.
Определение 1. Конусом устойчивости для уравнения вида (2) для данного k мы называем
множество точек M = (u1, u2, u3) е R , такое, что
u1 + iu2 = exp(ika>) - h exp(i (k -1)ю), u3 = h, (4)
где параметры h, ю связаны соотношениями
г,.,, sin krn л я ...
0 < h <---------,------<ю< —. (5)
sin(k - 1)ю k k
Теорема 1 [4]. Пусть A,B,Sе R2nx2n и S_1 AS = AT,S~lBS = BT , где AT,BT - треугольные матрицы с диагональными элементами Aj, j соответственно (1 < j < 2n). Построим точки
Mj = (u1 j, u2 j, u3 j) е R3 (1 < j < 2n), так что
u1 j + iu2 j = jj exp(-ik arg Aj ), u3j = |Aj| . (6)
Тогда уравнение (2) асимптотически устойчиво, если и только если все точки Mj лежат
внутри конуса устойчивости (4), (6) для данного k . Если некоторая точка Mj лежит вне конуса
устойчивости, то уравнение (2) неустойчиво.
Теорема 1 сводит задачу диагностирования устойчивости системы (2) порядка (2n x 2n) к
геометрической задаче в R : асимптотическая устойчивость системы равносильна условию, что все точки Mj (1 < j < 2n) лежат внутри конуса устойчивости (4), (6) для данного k .
Для применения теории конусов устойчивости необходимо знать собственные числа матрицы B . Для матрицы B порядка 2n собственные числа равны j = j2 =... = 0; j2n-1 =-n\[ab , j2n = n\[ab .
Диагностирование устойчивости двухслойной сети
Определение 2. Овалом устойчивости для уравнений вида (2) для запаздывания k > 1 и параметра у мы называем кривую M(ю) = (u1 (ю), u2 (ю)), такую, что
u1 (ю) + iu2 (ю) = exp(i^) - | Y exp(i(k - 1)ю), где юе (-ю, ю), гДе ю есть наименьший положительный корень уравнения
|1= sin ka sin(k - 1)ю
Овал устойчивости для данного запаздывания k и данного у - это сечение конуса устойчивости (см. Определение 1) плоскостью u3 =\Y . На основании Теоремы 1 и свойств матрицы B для диагностирования устойчивости уравнения (1) достаточно проверить две точки M(u1j,u2j) = u1j + iu2j =+ny[ab (1 < j < 2). Поэтому имеют место следующие теоремы.
Теорема 2. Пусть даны произвольные n,kе Z+,k > 1. Пусть 0 <у< 1. Построим в R2 овал устойчивости (см. Определение 2) для данных k, у. Построим точкиMj = (u1} , u2; ) е R2 (1 < j < 2) так, что
u1 j + iu2j =±ny[ab .
Если обе точки Mj (1 < j < 2) лежат внутри овала устойчивости, то система (1) асимптотически устойчива. В противном случае система (1) неустойчива.
Иванов С.А.
Устойчивость двухслойных рекурсивных
нейронных сетей
Теорема 3.
1. Если у> 1, то система (1) неустойчива.
2. Если у< 1 и 0 < ab <
1-Y
дывании k . Если у< 1 и ab >
1-Y
то система (1) асимптотически устойчива при любом запаз-
, то система (1) неустойчива при любом запаздывании k .
F (y, k)'
3. Если y< і и ab < 0 и lab < I-------— I , то система (1) асимптотически устойчива при дан-
' F (у, k)'
ном значении k . Если у< 1 и ab < 0 и lab > I-------------— I , то система неустойчива при данном
7 0 Т-/ 7 4 sin«(Y)
запаздывании k . здесь F (у,k) =-, где ю(У) есть наименьшии неотрицательный ко-
cos(k - 1)o(y)
рень уравнения y = ~
cos km
cos(k - 1)ю
Области устойчивости системы (1) отражены на рис. 2, 3.
Рис. 2. Область устойчивости системы (1) в плос кости ^, Ь) при фиксированных у= 0,4,k = 3 и переменном числе нейронов п
Рис. 3. Область устойчивости системы (1) в плоскости ^,Ь) при фиксированных У= 0,4,п = 3 и переменном запаздывании k
Вывод о динамике областей устойчивости в пространстве параметров таков. С ростом числа нейронов в сети область устойчивости стягивается в крест. Но при фиксированном количестве нейронов 2n имеется область в пространстве параметров, в которой гарантируется устойчивость независимо от запаздывания (delay-independent stability).
Литература
1. Иванов, С.А. Область устойчивости в пространстве параметров рекурсивных нейронных сетей с топологией многомерного куба / С.А. Иванов // Вестник ЮУрГУ. Серия «Математика. Механика. Физика». - 2012. - Вып. 7. - №34(293). - С. 157-160.
2. Иванов, С.А. Устойчивость рекурсивных нейронных сетей со звездной топологией связей / С.А. Иванов // Естественные и технические науки. - 2012. - №6(62). - С. 21-25.
3. Khokhlova, T.N. Stability of a ring and linear neural networks with a large number of neurons / T.N. Khokhlova, M.M. Kipnis // Applied Mathematics and Computation. - 2012. - P. 1-14.
4. Ivanov, S.A. The stability cone for a difference matrix equation with two delays / S.A. Ivanov. M.M. Kipnis, V.V. Malygina // ISRN J. Applied Mathematics. - 2011. - P. 1-19. ID 910936.
Краткие сообщения___________________________________________________________________________________
5. Ivanov, S.A. Stability analysis of discrete-time neural networks with delayed interactions: torus, ring, grid, line / S.A. Ivanov, M.M. Kipnis // International Journal of Pure and Applied Math. - 2012. -Vol. 78, № 5. - P. 691-709.
6. Kipnis, M.M. The stability cone for a matrix delay difference equation / M.M. Kipnis, V.V. Malygina // International Journal of Mathematics and Mathematical Sciences. - 2011. - P. 1-15. ID 860326.
7. Khokhlova, T.N The stability cone for a delay differential matrix equation / T.N. Khokhlova, M.M. Kipnis, V.V. Malygina // Applied Math. Lett. - 2011. - Vol. 24. - P. 742-745.
STABILITY OF TWO-LAYER RECURSIVE NEURAL NETWORKS
S.A. Ivanov
The stability conditions are described for the discrete neural networks. Stability regions are constructed in the parameter space for these networks. The problem reduces to the stability problem for the matrix difference equations of higher order with delay. The main tool is the stability cone.
Keywords: neural networks, difference matrix equations, stability of difference equations, two-layer network.
References
1. Ivanov S.A. Oblast' ustoychivosti v prostranstve parametrov rekursivnykh neyronnykh setey s to-pologiey mnogomernogo kuba (The stability domain in the parameters space of recursive neural networks with hypercube topology). Vestnik YuUrGU. Seriya “Matematika. Mekhanika. Fizika”. 2012. Issue 7. no. 34(293). pp. 157-160. (in Russ.).
2. Ivanov S.A. Ustoychivost' rekursivnykh neyronnykh setey so zvezdnoy topologiey svyazey (Stability of recursive neural networks with star topology). Estestvennye i tekhnicheskie nauki. 2012. no. 6(62). pp. 21-25. (in Russ.).
3. Khokhlova T.N., Kipnis M.M. Stability of a ring and linear neural networks with a large number of neurons. Applied Mathematics and Computation. 2012. pp. 1-14.
4. Ivanov S.A., Kipnis M.M., Malygina V.V. The stability cone for a difference matrix equation with two delays. ISRN J. Applied Mathematics. 2011. pp. 1-19. ID 910936.
5. Ivanov S.A., Kipnis M.M. Stability analysis of discrete-time neural networks with delayed interactions: torus, ring, grid, line. International Journal of Pure and Applied Math. 2012. Vol. 78, no. 5. pp. 691-709.
6. Kipnis M.M., Malygina V.V. The stability cone for a matrix delay difference equation. International Journal of Mathematics and Mathematical Sciences. 2011. pp. 1-15. ID 860326
7. Khokhlova T.N., Kipnis M.M., Malygina V.V. The stability cone for a delay differential matrix equation. Applied Math. Lett. 2011. Vol. 24. pp. 742-745.
Поступила в редакцию 4 июня 2013 г.
1 Ivanov Sergey Alexandrovich is Post-graduate Student, Mathematical Analysis Department, Chelyabinsk State Pedagogical University.
E-mail: [email protected]
