CC BY
29
ИЗМЕНЕНИЕ ОБЛАСТИ УСТОЙЧИВОСТИ КОЛЬЦЕВОЙ НЕЙРОННОЙ СЕТИ ПРИ ДОБАВЛЕНИИ СВЯЗЕЙ МЕЖДУ
НЕЙРОНАМИ
Кипнис Михаил Маркович
д-р физ.-мат. наук, профессор, кафедра математики и методики обучения математике. Челябинский государственный педагогический университет
(ЧГПУ), РФ, г. Челябинск Божков Евгений Владимирович магистрант ЧГПУ, РФ, г. Челябинск Важенина Ирина Витальевна магистрант ЧГПУ, РФ, г. Челябинск Королев Владимир Александрович магистрант ЧГПУ, РФ, г. Челябинск E-mail: 1000atk@gmail. com
CHANGING OF THE STABILITY DOMAIN OF A RING NEURAL NETWORK WITH THE ADDITION OF CONNECTIONS BETWEEN
NEURONS
Kipnis Mikhail
professor, PhD, Department of Mathematics, Chelyabinsk State Pedagogical
University (CSPU), Russia, Chelyabinsk
Bozhkov Evgeniy
graduate student, Dept. of Computer Science (CSPU), Russia, Chelyabinsk
Vazhenina Irina
graduate student, Dept. of Computer Science (CSPU), Russia, Chelyabinsk
Korolev Vladimir
graduate student, Dept. of Computer Science (CSPU), Russia, Chelyabinsk
АННОТАЦИЯ
Мы рассматриваем изменение области устойчивости дискретной модели кольцевой нейронной сети сначала при добавлении к ней двух связей, затем при переходе к полной системе связей. Численными экспериментами установлено, что, за некоторым исключением, добавление связей уменьшает область устойчивости в пространстве параметров.
ABSTRACT
We consider changes in the stability domains of discrete ring neural network model with the addition firstly one or two connections and, finally, full system of the network connections. By means of numerical experiments we found that (with some
exceptions) the stability domain of the parameter space of the tested network shrinks when we add the connections to the network.
Ключевые слова: нейронные сети; дискретная модель; устойчивость; кольцевая конфигурация.
Keywords: neural networks; discrete-time model; stability, ring.
Области устойчивости в пространстве параметров нейронных сетей изучались, например в [1, 2, 4, 5]. В [5] было показано, что при разрыве кольцевой нейронной сети область устойчивости в пространстве параметров, вообще говоря, расширяется. Но это исследование можно рассматривать и в обратном порядке: при добавлении перемычки между первым и последним нейронами сети область устойчивости в пространстве параметров сжимается.
Возникает естественный вопрос: что происходит с областями устойчивости при дальнейшем добавлении перемычек в кольцевую сеть, вплоть до превращения ее в полносвязную нейронную сеть.
Эта задача и решена в данной заметке для частного случая шести-нейронной кольцевой сети. Мы выяснили, что в данном процессе происходит дальнейшее сужение области устойчивости в пространстве параметров нейронной сети, но, как и в работах [2, 5], в наших численных экспериментах обнаружены так называемые парадоксальные точки в пространстве параметров, в которых система приобретает устойчивость при добавлении дополнительных перемычек.
Исследуемая сеть состоит из шести нейронов (Рис. 1).
а) Ь) с)
Рисунок 1. Конфигурации нейронных сетей: a) кольцевая; b) кольцевая с двумя перемычками; с) полносвязная сеть
В одной из работ (см. [6]) кольцевая нейронная сеть с добавлением одной-двух связей рассматривается как модель «small world networks», связанная с известной гипотезой о шести рукопожатиях.
Кольцевая сеть (Рис. 1а) описывается линейной системой разностных уравнений шестого порядка
xs = axs_1 + Bxs_k,s = 1,2 ... (1)
Здесь х3 шестимерный вектор состояния сети в момент времени 5, а коэффициент демпфирования (0 < а < 1), к запаздывание во взаимодействии различных нейронов, В матрица взаимодействий различных нейронов. Для кольцевой сети (Рис. 1а)
В =
/0 О
Vb
ъ 0 0 0
0 ъ 0 0
ъ 0 ъ 0
0 ъ 0 ъ
0 0 ъ 0
0 0 0 ъ
Ъ\
(2)
/
где Ь сила взаимодействия между соседними нейронами в кольце. Система (1) называется устойчивой, если при любых начальных условиях для любого ее решения х3 имеет место |х5| 0 при 5 оо. Характеристическое уравнение [2] для (1) имеет вид
det(!k" — a"k_1 - B) = 0, (3)
где " единичная матрица. Если все корни (1 < у < 6 к) удовлетворяют усло-вию |Д$| < 1, то система устойчива, если |Д$| > 1 при некотором то система неустойчива.
Мы фиксируем запаздывание к = 2. Мы ставим задачу вначале построить область устойчивости в плоскости аЬ для кольцевой сети (Рис. 1а), описанной уравнением (1) с матрицей В, указанной в (2). Затем мы находим область устойчивости кольцевой сети с двумя перемычками (Рис. 1Ь), описанной тем же уравнением (1), в котором матрица В заменена матрицей В2:
В2 =
/0 Ь 0 Ь 0 Ь
0 Ь 0 0 0
0 Ь 0 Ь 0 0
Ь 0 Ь 0 Ь 0
Vo 0 0 Ь 0 Ь
0 0 0 Ь 0
\
/
Наконец, последняя исследуемая модель является полносвязной сетью (Рис. 1с) с заменой в уравнении (1) матрицы В на матрицу
ЬЬ
В, =
V
Ь Ь Ь Ь Ь Ь
Ь Ь Ь Ь Ь Ь
Ь Ь Ь Ь Ь Ь
Ь Ь Ь Ь Ь Ь
ЬЬ Ь Ь Ь Ь
/
Методы исследования — численные эксперименты в МаШсаё. Некоторые подробности техники проведения численных экспериментов указаны в [1].
0.6
ь о
-0.4
-0.2
0,4 -
0.2 -
-0.6
-1.2
-0.8
-0.4
0
0.4
0.8
1.2
«
Сеть с двумя пе ре мычками
Полносвязная сеть
Рисунок 2. Границы областей устойчивости нейронных сетей,
изображенных на Рисунке 1
Результаты поиска границ области устойчивости показаны на Рис. 2.
Как показывает Рис. 2, области устойчивости в пространстве параметров , в общем, сужаются при добавлении перемычек. Однако, существуют небольшие области параметров (по аналогии с [5] их можно назвать парадоксальными), при которых добавление перемычек переводит систему из класса неустойчивых в класс устойчивых.
Три графа на Рис. 1 имеют диаметры 3, 2, 1 соответственно (определение диаметра графа см. в [3]). Из трех изученных нами нейронных сетей примечательна сеть, представленная на Рис. 1b . Ее можно назвать сетью "small world" [6], то есть сетью с небольшим количеством связей, в которой переход от нейрона к любому другому нейрону происходит через небольшое количество посредников. Настоящая работа показывает, что система «small world», вообще говоря, менее устойчива, чем кольцевая сеть.
Список литературы:
1. Иванов С.А., Невзорова Е.Н., Козлова С.А. Устойчивость рекурсивных нейронных сетей цилиндрической архитектуры с запаздывающими взаимодействиями. «Инновации в науке»: материалы XVI международной заочной научно-практической конференции. Часть I. (28.01.2013 г.). Новосибирск: «СибАК», 2013, — с. 7—11.
2. Речкалова Л.В., Кипнис М.М. Область устойчивости нейронной сети с топологией в виде тора при разрыве некоторых связей. «Инновации в науке»: сборник статей по материалам XXVIII международной научно-практической конференции № 12(25). Новосибирск: «СибАК», 2013, — c. 23—31.
3. Уилсон Р. Введение в теорию графов. М.: Мир, 1977, — 208 стр.
4. Ivanov S.A., Kipnis M.M. Stability analysis of discrete-time neural networks with delayed interactions: torus, ring, grid, line. International Journal of Pure and Applied Math. (2012) V. 78(5), — p. 691—709.
5. Khokhlova T.N., Kipnis M.M. The breaking of a delayed ring neural network contributes to stability: The rule and exceptions // Neural Networks (2013) V. 48 — P. 148—152.
6. Zhao D.-X., Wang J.-M. Stability of a delayed ring neural network with one small-world connection, Chinese Control and Decision Conference (CCDC), Springer, 2011.
