CC BY
51
Математика
УДК 517.96
устойчивость многослойных рекурсивных
нейронных сетей
С.А. Иванов\ И.И. БлееС
Получены численные критерии устойчивости многослойных дискретных нейронных сетей. Построены области устойчивости в пространстве параметров для таких сетей. Задача сводится к проблеме устойчивости матричных разностных уравнений высоких порядков с запаздыванием. Основным средством решения проблемы являются конусы устойчивости.
Ключевые слова: нейронные сети; разностные матричные уравнения; устойчивость разностных уравнений; многослойные сети.
Введение
В статье рассмотрены многослойные нейронные сети с одинаковыми запаздываниями во взаимодействии между нейронами в сети. Такие модели имеют широкое применение в различных областях знаний.
В работе [1] изучалась нелинейная дискретная модель многослойных сетей. В этой работе даны достаточные условия глобальной устойчивости таких моделей. Наша задача другая - изучение локальной устойчивости и полное описание областей устойчивости в пространстве параметров.
Связи трехслойной сети с тремя нейронами в каждом слое изображены на рис. 1.
В результате линеаризации вокруг стационарного решения уравнений многослойной нейронной сети получается линейное матричное разностное уравнение
Х5 =у1х3_1 + Вх3_к, 5 = и..., где х5 - вектор сигналов нейронов в момент 5. Вектор х5 - размерности пр характеризует отклонения сигналов нейронов от стационарных, I - единичная прх пр матрица, у - коэффициент затухания колебаний нейронов (0 £у< 1), В - матрица размера прхпр, характеризующая взаимодействия между нейронами в сети, к - запаздывание во взаимодействии между нейронами, п - число нейронов в каждом слое, р - число слоев в сети.
Уравнение (1) принадлежит классу матричных разностных уравнений вида:
Х5 = ^Х5_1 + Вх5_к, 5 = 1,2. , (2)
которые обладают важным для нас свойством: матрицы А, В могут быть приведены к треугольному виду одним преобразованием. Поэтому мы имеем возможность применить метод конуса устойчивости [2] для анализа устойчивости этих уравнений.
Матрица В, например, трехслойной сети, состоящей из шести нейронов, имеет следующий
вид:
Рис. 1. Трехслойная нейронная сеть
(1)
в=
(0 0 a a 0 01
0 0 a a 0 0
b b 0 0 a a
b b 0 0 a a
0 0 b b 0 0
ч 0 0 b b 0 0,
(3)
1 Иванов Сергей Александрович - доцент, кафедра системного программирования, Южно-Уральский государственный университет. E-mail: [email protected]
2 Блеес Ирина Игоревна - магистр, кафедра системного программирования, Южно-Уральский государственный университет.
Математика
где а - сила воздействия нейронов одного слоя на следующий слой, Ь - сила обратного воздействия.
Мы ставим задачу изучить область устойчивости системы (1) в пространстве параметров а, Ь при разных значениях у, п, р и к .
Конус устойчивости для диагностирования устойчивости нейронных сетей
В работах [2, 3] введены конусы устойчивости для диагностирования устойчивости систем вида (2) с матрицами A, B, одновременно приводимыми к треугольному виду. Для решения поставленной задачи устойчивости многослойных нейронных сетей нам понадобится техника конусов устойчивости, которую мы здесь изложим.
Определение 1. Конусом устойчивости для уравнения вида (2) для данного k мы называем
множество точек M = (u1, u2, u3)е R3, такое, что
u1 + iu2 = exp(ikw) - h exp(i(k - 1)w), u3 = h, (4)
где параметры h, a связаны соотношениями
sin ka
_....... p p
0 < h <-,--<w<-.
sin(k - 1)w k k
(5)
Теорема 1 [3]. Пусть A,B,Se RnpXnp и S"1 AS = AT,S~1BS = BT, где AT,BT треугольные матрицы с диагональными элементами 1j,ßj соответственно (1 < j< np). Построим точки
Mj = (u1 j, u2 j, u3 j) e R (1 < j < np) так, что
u1 j + iu2 j = mj exp(-ikarg 1j), u3 j = Ц . (6)
Тогда уравнение (2) асимптотически устойчиво, если и только если все точки Mj лежат
внутри конуса устойчивости (4), (6) для данного k . Если некоторая точка Mj лежит вне конуса
устойчивости, то уравнение (2) неустойчиво.
Теорема 1 сводит задачу диагностирования устойчивости системы (2) порядка (np X np) к
геометрической задаче в R3: асимптотическая устойчивость системы равносильна условию, что все точки Mj (1 < j < np) лежат внутри конуса устойчивости (4), (6) для данного k .
Для применения теории конусов устойчивости необходимо знать собственные числа матрицы B. Введем следующие обозначения:
L =
где матрица Ь размера (р х р), матрица V размера (пх п).
Заметим, что матрица Ь представляет собой матрицу сил запаздывающих взаимодействий нейронной сети линейной конфигурации. Собственные числа таких матриц и области устойчивости линейных нейронных сетей изучены в [4, 5].
Матрицу можно представить в виде произведения Кронекера следующим образом:
В = Ь ® V.
Для произведения Кронекера справедлива следующая теорема.
Теорема 2 [6]. Пусть собственные значения квадратных матриц А и В равны а1,...,ат и Р1,...,Рт . Тогда собственные числа А ® В равны aipj.
(0 a 0 ••• 0 ^ (1 1 1 ... Л
b 0 a ... 0 1 1 1 ... 1
0 b 0 ... 0 ; V= 1 1 1 ... 1
•. a
V 0 0 0 b 0 у v1 1 1 1 1
Собственные числа матрицы L порядка p равны Я, = 2\/ab• cos
p• j P+1
, j = 1... p. Собст-
венные числа матрицы V порядка п равны ¡11 = №2 = "' = 0; №п = п. Согласно теореме 2 для мат-
Иванов С.А., Блеес И.И.
Устойчивость многослойных рекурсивных нейронных сетей
рицы B порядка np собственные числа равны e11 = e12 = ••• = epn—1 = 0 ; e jn = Imfab ■
"jn
cos
p j p+1
Л
j=1... p.
Диагностирование устойчивости двухслойной сети
Определение 2. Овалом устойчивости для уравнений вида (2) для запаздывания k > 1 и параметра у мы называем кривую M (w) = (u1 (w), u2 (w)), такую что
u1 (w) + iu2 (w) = exp(ikw) -1 g exp(i(k -1)w), где we (—w, w), где w - есть наименьший положительный корень уравнения
.i sin kw sin(k — 1)w
Овал устойчивости для данного запаздывания k и данного у это сечение конуса устойчивости (см. Определение 1) плоскостью u3 = |g . На основании Теоремы 1 и свойств матрицы B для диагностирования устойчивости уравнения (1) достаточно проверить две точки
M(u1 j, u2j) = u1 j + iu2 j = ±2n\[ab ■ cos
1 j
2 j
P
P + 1
(1 < j < 2). Поэтому имеют место следующие теоре-
J
мы.
Теорема 3. Пусть даны произвольные п,ке 2+,к > 1. Пусть 0 <у< 1. Построим в Я2 овал устойчивости (см. Определение 2) для данных к, у. Построим точки М^ = (и1 j, и2 j) е Я (1 < j < 2) так, что
u1 j + iu2 j = ±2n\[ab ■ cos
( P ^
P +1
Если обе точки М^ (1 < j < 2) лежат внутри овала устойчивости, то система (1) асимптотически устойчива. В противном случае система (1) неустойчива. Введем обозначение
q = 2n ■ cos
( P >
P +1
Теорема 4. 1. Если g> 1, то система (1) неустойчива.
2. Если g< 1 и 0 < ab<
1 — g
то система (1) асимптотически устойчива при любом запаз-
дывании k . Если g< 1 и ab >
(1—g^2
3. Если g< 1 и ab< 0 и lab <
то система (1) неустойчива при любом запаздывании k .
ч 2
F (g, k)
то система (1) асимптотически устойчива при дан-
ном значении k . Если g< 1 и ab< 0 и |ab >
( F(g, k) ^
, то система неустойчива при данном
ir, cv n sinw(g) запаздывании k . Здесь F(g,k) =-, где w(g) есть наименьший неотрицательный ко-
cos(k — 1)w(g)
рень уравнения g
cos kw
С08(к -1)®
Области устойчивости системы (1) отражены на рис. 2, 3.
Полученные результаты не противоречат известным результатам. Можно сделать вывод о динамике областей устойчивости в пространстве параметров. Область устойчивости стягивается в крест только с ростом числа нейронов в каждом слое. Увеличение числа слоев в нейронной сети с сохранением числа нейронов в каждом слое не стягивает область устойчивости в крест. При
2
q
q
Математика
фиксированном количестве нейронов n имеется область в пространстве параметров, в которой гарантируется устойчивость независимо от запаздывания (delay-independent stability). Для сохранения устойчивости выгоднее увеличивать число слоев в многослойных сетях, чем наращивать число нейронов в каждом из слоев.
Рис. 2. Область устойчивости системы (1) в плоскости (а,Ь) при фиксированных у= 0,4,к = 3, п = 4 и переменном числе слоев р
Рис. 3. Область устойчивости системы (1) в плоскости (а,Ь) при фиксированных у= 0,4, р = 3, п = 5 и переменном запаздывании к
Литература
1. Barabanov, N.E. Stability analysis of discrete-time recurrent neural networks // N.E. Barabanov, D.V. Prokhorov. - IEEE Transactions of Neural Networks. - 2002. - V. 13(2). - P. 292-303.
2. Kipnis, M.M. The stability cone for a matrix delay difference equation. International // M.M. Kipnis, V.V. Malygina. - J. of Mathematics and Mathematical Sciences. - 2011. P. 1-15. ID 860326.
3. Ivanov, S.A. The stabiliry cone for a difference matrix equation with two delays // S.A. Ivanov, M.M. Kipnis, V.V. Malygina. - ISRN J. Applied Mathematics. - 2011. - P. 1-19. ID 910936.
4. Ivanov, S.A. Stability analysis of discrete-time neural networks with delayed interactions: torus, ring, grid, line / S.A. Ivanov, M.M. Kipnis. - International Journal of Pure and Applied Math. - 2012. -Vol. 78(5). - P. 691-709
5. Khokhlova, T.N. Numerical and qualitative stability analysis of ring and linear neural networks with a large number of neurons / T.N. Khokhlova, M.M. Kipnis. - International Journal of Pure and Applied Math. - 2012. - Vol. 76(3). - P. 403-419.
6. Прасолов, В.В. Задачи и теоремы линейной алгебры / В.В. Прасолов. - М., 2008 - 536 с.
Поступила в редакцию 26марта 2015 г.
Иванов С.А., Блеес И.И.
Устойчивость многослойных рекурсивных нейронных сетей
Bulletin of the South Ural State University Series "Mathematics. Mechanics. Physics" _2015, vol. 7, no. 3, pp. 5-9
STABILITY OF MULTILAYER RECURSIVE NEURAL NETWORKS
S.A. Ivanov\ I.I. Blees2
Numerical stability criteria are described for multilayer discrete-time neural networks. Stability domains in the space of parameters are built. The problem reduces to the stability problem for difference matrix equations of a higher order with delay. Stability cones are major tolls for problem solution.
Keywords: neural networks; difference matrix equations; stability of difference equations; multilayer network.
Referemces
1. Barabanov N.E., Prokhorov D.V. Stability analysis of discrete-time recurrent neural networks. IEEE Transactions of Neural Networks. 2002. Vol. 13(2). pp. 292-303
2. Kipnis M.M., Malygina V.V. The stability cone for a matrix delay difference equation. International J. of Mathematics and Mathematical Sciences. 2011. pp. 1-15. ID 860326.
3. Ivanov S.A., Kipnis M.M., Malygina V.V. The stabiliry cone for a difference matrix equation with two delays. ISRN J. Applied Mathematics. 2011. pp. 1-19. ID 910936.
4. Ivanov S.A., Kipnis M.M. Stability analysis of discrete-time neural networks with delayed interactions: torus, ring, grid, line. International Journal of Pure and Applied Math. 2012. Vol. 78(5). pp.691-709.
5. Khokhlova T.N., Kipnis M.M. Numerical and qualitative stability analysis of ring and linear neural networks with a large number of neurons. International Journal of Pure and Applied Math. 2012. Vol. 76(3). pp. 403-419.
6. Prasolov V.V. Zadachi i teoremy lineynoy algebry (Problems and theorems of linear algebra). Moscow, 2008. 536 p.
Received 26 March 2015
1 Ivanov Sergey Alexandrovich is Associate Professor, System Programming Department, South Ural State University. E-mail: [email protected]
2 Blees Irina Igorevna is a Master Student, System Programming Department, South Ural State University.
