Устойчивость многослойных рекурсивных нейронных сетей Текст научной статьи по специальности «Математика»

Математика

УДК 517.96

устойчивость многослойных рекурсивных

нейронных сетей

С.А. Иванов\ И.И. БлееС

Получены численные критерии устойчивости многослойных дискретных нейронных сетей. Построены области устойчивости в пространстве параметров для таких сетей. Задача сводится к проблеме устойчивости матричных разностных уравнений высоких порядков с запаздыванием. Основным средством решения проблемы являются конусы устойчивости.

Ключевые слова: нейронные сети; разностные матричные уравнения; устойчивость разностных уравнений; многослойные сети.

Введение

В статье рассмотрены многослойные нейронные сети с одинаковыми запаздываниями во взаимодействии между нейронами в сети. Такие модели имеют широкое применение в различных областях знаний.

В работе [1] изучалась нелинейная дискретная модель многослойных сетей. В этой работе даны достаточные условия глобальной устойчивости таких моделей. Наша задача другая - изучение локальной устойчивости и полное описание областей устойчивости в пространстве параметров.

Связи трехслойной сети с тремя нейронами в каждом слое изображены на рис. 1.

В результате линеаризации вокруг стационарного решения уравнений многослойной нейронной сети получается линейное матричное разностное уравнение

Х5 =у1х3_1 + Вх3_к, 5 = и..., где х5 - вектор сигналов нейронов в момент 5. Вектор х5 - размерности пр характеризует отклонения сигналов нейронов от стационарных, I - единичная прх пр матрица, у - коэффициент затухания колебаний нейронов (0 £у< 1), В - матрица размера прхпр, характеризующая взаимодействия между нейронами в сети, к - запаздывание во взаимодействии между нейронами, п - число нейронов в каждом слое, р - число слоев в сети.

Уравнение (1) принадлежит классу матричных разностных уравнений вида:

Х5 = ^Х5_1 + Вх5_к, 5 = 1,2. , (2)

которые обладают важным для нас свойством: матрицы А, В могут быть приведены к треугольному виду одним преобразованием. Поэтому мы имеем возможность применить метод конуса устойчивости [2] для анализа устойчивости этих уравнений.

Матрица В, например, трехслойной сети, состоящей из шести нейронов, имеет следующий

вид:

Рис. 1. Трехслойная нейронная сеть

(1)

в=

(0 0 a a 0 01

0 0 a a 0 0

b b 0 0 a a

b b 0 0 a a

0 0 b b 0 0

ч 0 0 b b 0 0,

(3)

1 Иванов Сергей Александрович - доцент, кафедра системного программирования, Южно-Уральский государственный университет. E-mail: saivanov@susu.ac.ru

2 Блеес Ирина Игоревна - магистр, кафедра системного программирования, Южно-Уральский государственный университет.

Математика

где а - сила воздействия нейронов одного слоя на следующий слой, Ь - сила обратного воздействия.

Мы ставим задачу изучить область устойчивости системы (1) в пространстве параметров а, Ь при разных значениях у, п, р и к .

Конус устойчивости для диагностирования устойчивости нейронных сетей

В работах [2, 3] введены конусы устойчивости для диагностирования устойчивости систем вида (2) с матрицами A, B, одновременно приводимыми к треугольному виду. Для решения поставленной задачи устойчивости многослойных нейронных сетей нам понадобится техника конусов устойчивости, которую мы здесь изложим.

Определение 1. Конусом устойчивости для уравнения вида (2) для данного k мы называем

множество точек M = (u1, u2, u3)е R3, такое, что

u1 + iu2 = exp(ikw) - h exp(i(k - 1)w), u3 = h, (4)

где параметры h, a связаны соотношениями

sin ka

_....... p p

0 < h <-,--<w<-.

sin(k - 1)w k k

(5)

Теорема 1 [3]. Пусть A,B,Se RnpXnp и S"1 AS = AT,S~1BS = BT, где AT,BT треугольные матрицы с диагональными элементами 1j,ßj соответственно (1 < j< np). Построим точки

Mj = (u1 j, u2 j, u3 j) e R (1 < j < np) так, что

u1 j + iu2 j = mj exp(-ikarg 1j), u3 j = Ц . (6)

Тогда уравнение (2) асимптотически устойчиво, если и только если все точки Mj лежат

внутри конуса устойчивости (4), (6) для данного k . Если некоторая точка Mj лежит вне конуса

устойчивости, то уравнение (2) неустойчиво.

Теорема 1 сводит задачу диагностирования устойчивости системы (2) порядка (np X np) к

геометрической задаче в R3: асимптотическая устойчивость системы равносильна условию, что все точки Mj (1 < j < np) лежат внутри конуса устойчивости (4), (6) для данного k .

Для применения теории конусов устойчивости необходимо знать собственные числа матрицы B. Введем следующие обозначения:

L =

где матрица Ь размера (р х р), матрица V размера (пх п).

Заметим, что матрица Ь представляет собой матрицу сил запаздывающих взаимодействий нейронной сети линейной конфигурации. Собственные числа таких матриц и области устойчивости линейных нейронных сетей изучены в [4, 5].

Матрицу можно представить в виде произведения Кронекера следующим образом:

В = Ь ® V.

Для произведения Кронекера справедлива следующая теорема.

Теорема 2 [6]. Пусть собственные значения квадратных матриц А и В равны а1,...,ат и Р1,...,Рт . Тогда собственные числа А ® В равны aipj.

(0 a 0 ••• 0 ^ (1 1 1 ... Л

b 0 a ... 0 1 1 1 ... 1

0 b 0 ... 0 ; V= 1 1 1 ... 1

•. a

V 0 0 0 b 0 у v1 1 1 1 1

Собственные числа матрицы L порядка p равны Я, = 2\/ab• cos

p• j P+1

, j = 1... p. Собст-

венные числа матрицы V порядка п равны ¡11 = №2 = "' = 0; №п = п. Согласно теореме 2 для мат-

Иванов С.А., Блеес И.И.

Устойчивость многослойных рекурсивных нейронных сетей

рицы B порядка np собственные числа равны e11 = e12 = ••• = epn—1 = 0 ; e jn = Imfab ■

"jn

cos

p j p+1

Л

j=1... p.

Диагностирование устойчивости двухслойной сети

Определение 2. Овалом устойчивости для уравнений вида (2) для запаздывания k > 1 и параметра у мы называем кривую M (w) = (u1 (w), u2 (w)), такую что

u1 (w) + iu2 (w) = exp(ikw) -1 g exp(i(k -1)w), где we (—w, w), где w - есть наименьший положительный корень уравнения

.i sin kw sin(k — 1)w

Овал устойчивости для данного запаздывания k и данного у это сечение конуса устойчивости (см. Определение 1) плоскостью u3 = |g . На основании Теоремы 1 и свойств матрицы B для диагностирования устойчивости уравнения (1) достаточно проверить две точки

M(u1 j, u2j) = u1 j + iu2 j = ±2n\[ab ■ cos

1 j

2 j

P

P + 1

(1 < j < 2). Поэтому имеют место следующие теоре-

J

мы.

Теорема 3. Пусть даны произвольные п,ке 2+,к > 1. Пусть 0 <у< 1. Построим в Я2 овал устойчивости (см. Определение 2) для данных к, у. Построим точки М^ = (и1 j, и2 j) е Я (1 < j < 2) так, что

u1 j + iu2 j = ±2n\[ab ■ cos

( P ^

P +1

Если обе точки М^ (1 < j < 2) лежат внутри овала устойчивости, то система (1) асимптотически устойчива. В противном случае система (1) неустойчива. Введем обозначение

q = 2n ■ cos

( P >

P +1

Теорема 4. 1. Если g> 1, то система (1) неустойчива.

2. Если g< 1 и 0 < ab<

1 — g

то система (1) асимптотически устойчива при любом запаз-

дывании k . Если g< 1 и ab >

(1—g^2

3. Если g< 1 и ab< 0 и lab <

то система (1) неустойчива при любом запаздывании k .

ч 2

F (g, k)

то система (1) асимптотически устойчива при дан-

ном значении k . Если g< 1 и ab< 0 и |ab >

( F(g, k) ^

, то система неустойчива при данном

ir, cv n sinw(g) запаздывании k . Здесь F(g,k) =-, где w(g) есть наименьший неотрицательный ко-

cos(k — 1)w(g)

рень уравнения g

cos kw

С08(к -1)®

Области устойчивости системы (1) отражены на рис. 2, 3.

Полученные результаты не противоречат известным результатам. Можно сделать вывод о динамике областей устойчивости в пространстве параметров. Область устойчивости стягивается в крест только с ростом числа нейронов в каждом слое. Увеличение числа слоев в нейронной сети с сохранением числа нейронов в каждом слое не стягивает область устойчивости в крест. При

2

q

q

Математика

фиксированном количестве нейронов n имеется область в пространстве параметров, в которой гарантируется устойчивость независимо от запаздывания (delay-independent stability). Для сохранения устойчивости выгоднее увеличивать число слоев в многослойных сетях, чем наращивать число нейронов в каждом из слоев.

Рис. 2. Область устойчивости системы (1) в плоскости (а,Ь) при фиксированных у= 0,4,к = 3, п = 4 и переменном числе слоев р

Рис. 3. Область устойчивости системы (1) в плоскости (а,Ь) при фиксированных у= 0,4, р = 3, п = 5 и переменном запаздывании к

Литература

1. Barabanov, N.E. Stability analysis of discrete-time recurrent neural networks // N.E. Barabanov, D.V. Prokhorov. - IEEE Transactions of Neural Networks. - 2002. - V. 13(2). - P. 292-303.

2. Kipnis, M.M. The stability cone for a matrix delay difference equation. International // M.M. Kipnis, V.V. Malygina. - J. of Mathematics and Mathematical Sciences. - 2011. P. 1-15. ID 860326.

3. Ivanov, S.A. The stabiliry cone for a difference matrix equation with two delays // S.A. Ivanov, M.M. Kipnis, V.V. Malygina. - ISRN J. Applied Mathematics. - 2011. - P. 1-19. ID 910936.

4. Ivanov, S.A. Stability analysis of discrete-time neural networks with delayed interactions: torus, ring, grid, line / S.A. Ivanov, M.M. Kipnis. - International Journal of Pure and Applied Math. - 2012. -Vol. 78(5). - P. 691-709

5. Khokhlova, T.N. Numerical and qualitative stability analysis of ring and linear neural networks with a large number of neurons / T.N. Khokhlova, M.M. Kipnis. - International Journal of Pure and Applied Math. - 2012. - Vol. 76(3). - P. 403-419.

6. Прасолов, В.В. Задачи и теоремы линейной алгебры / В.В. Прасолов. - М., 2008 - 536 с.

Поступила в редакцию 26марта 2015 г.

Иванов С.А., Блеес И.И.

Устойчивость многослойных рекурсивных нейронных сетей

Bulletin of the South Ural State University Series "Mathematics. Mechanics. Physics" _2015, vol. 7, no. 3, pp. 5-9

STABILITY OF MULTILAYER RECURSIVE NEURAL NETWORKS

S.A. Ivanov\ I.I. Blees2

Numerical stability criteria are described for multilayer discrete-time neural networks. Stability domains in the space of parameters are built. The problem reduces to the stability problem for difference matrix equations of a higher order with delay. Stability cones are major tolls for problem solution.

Keywords: neural networks; difference matrix equations; stability of difference equations; multilayer network.

Referemces

1. Barabanov N.E., Prokhorov D.V. Stability analysis of discrete-time recurrent neural networks. IEEE Transactions of Neural Networks. 2002. Vol. 13(2). pp. 292-303

2. Kipnis M.M., Malygina V.V. The stability cone for a matrix delay difference equation. International J. of Mathematics and Mathematical Sciences. 2011. pp. 1-15. ID 860326.

3. Ivanov S.A., Kipnis M.M., Malygina V.V. The stabiliry cone for a difference matrix equation with two delays. ISRN J. Applied Mathematics. 2011. pp. 1-19. ID 910936.

4. Ivanov S.A., Kipnis M.M. Stability analysis of discrete-time neural networks with delayed interactions: torus, ring, grid, line. International Journal of Pure and Applied Math. 2012. Vol. 78(5). pp.691-709.

5. Khokhlova T.N., Kipnis M.M. Numerical and qualitative stability analysis of ring and linear neural networks with a large number of neurons. International Journal of Pure and Applied Math. 2012. Vol. 76(3). pp. 403-419.

6. Prasolov V.V. Zadachi i teoremy lineynoy algebry (Problems and theorems of linear algebra). Moscow, 2008. 536 p.

Received 26 March 2015

1 Ivanov Sergey Alexandrovich is Associate Professor, System Programming Department, South Ural State University. E-mail: saivanov@susu.ac.ru

2 Blees Irina Igorevna is a Master Student, System Programming Department, South Ural State University.