Клеточные нейронные сети с транзитными пересылками Текст научной статьи по специальности «Математика»

УДК 681.32:007.52

М.А. Новотарский

КЛЕТОЧНЫЕ НЕЙРОННЫЕ СЕТИ С ТРАНЗИТНЫМИ ПЕРЕСЫЛКАМИ

В работе дано обоснование актуальности создания более сложных, по сравнению с классическими, структур нейронов, оперирующих с дискретным представлением информации. Рассмотрены принципы функционирования клеточных нейронных сетей в непрерывном и дискретном времени. Описана динамика функционирования дискретной клеточной сети, ориентированной на решение операторных уравнений численными методами. Предложен механизм оптимальных транзитных пересылок для реализации итерационных вычислений на виртуальном шаблоне.

АРТ-сети [2], «нейронный газ» [3], клеточные сети [4] и ряд других. Эти структуры используют более сложные модели нейрона, позволившие расширить круг задач, традиционно решаемых с помощью нейронных сетей. В рамках поддержки данной тенденции в работе рассмотрены подходы к построению дискретных клеточных сетей, использующие в качестве нейрона специализированное вычислительное устройство.

ВВЕДЕНИЕ

1 КЛЕТОЧНЫЕ НЕЙРОННЫЕ СЕТИ

Начиная с момента зарождения вычислительной техники и до сегодняшнего времени широко распространено мнение об идеологическом и практическом превосходстве технических конструкций над биологическими. 0тсюда вытекает уверенность в том, что человеческая память - это всего лишь несовершенный вариант компьютерной памяти, и для того, чтобы понять секреты работы мозга, следует больше внимания уделять разработке и конструированию компьютерных систем. Последний тезис сыграл отрицательную роль в выборе направлений развития теории искусственных нейронных сетей. Как правило, разработчики интересовались биологическими аналогиями только на самых первых этапах проекта и вскоре теряли к ним интерес. В результате такого подхода искусственные нейронные сети очень быстро превратились в некоторый инструмент, ориентированный на решение ограниченного круга задач. Литература изобилует информацией об использовании искусственных нейронных сетей для задач аппроксимации функций, распознавания образов, классификационных задач, задач адаптивного управления и др. В то же время очень мало сообщений о применении нейронных сетей к вычислительным задачам, хотя наука накопила немало фактов феноменальных вычислительных способностей человека. Возможно, причина такого положения дел кроется в самодостаточности классической модели формального нейрона, предложенной Уорреном С. Мак-Каллоком и Вальтером Питтсом [1]. Обладая свойствами универсального аппроксиматора, такая структура сама по себе представляет интерес как средство построения моделей. Не следует исключать и субъективный фактор, который заключается в том, что сложилась историческая традиция относить к искусственным нейронным сетям большей частью те архитектуры, которые используют формальный нейрон или незначительные его модификации.

В последнее время наблюдается тенденция отхода от классического понимания теории нейронных сетей. К ярким представителям нового поколения можно отнести

Среди архитектур нейронных сетей, ориентированных на моделирование вычислительных процессов, особое место занимают клеточные нейронные сети. Подобные структуры широко известны в современной физике как сложные системы, самоорганизующиеся системы, границы хаоса, системы с коллективным поведением и др.

В монографии [5] они названы клеточными нелинейными сетями, а клеточные нейронные сети (КНС) рассматриваются как их разновидность. Согласно [5], КНС - это массово параллельная вычислительная парадигма, определенная на ^-мерном дискретном пространстве. Она состоит из ^-мерного гомогенного массива элементов (клеток). Структура типовых связей между клетками КНС показана на рис. 1.

Рисунок 1 - Фрагменты двумерной и трехмерной КНС

Количество связей нейрона с окружающими соседями определяется его индексом окружения а. Структуры КНС, показанные на рис. 1, обладают минимально допустимыми индексами окружения: для двумерной сети - а =4 и для трехмерной сети - а =6. Если сеть обладает индексом окружения, большим за минимальный, то на такой сети может быть задано несколько функций соседства:

N : Иа, ) = (я, г)< г},

где Н - множество координат всех клеток, На - множество координат соседних клеток, д, г - координатные векторы, г - степень соседства.

Степенью соседства г называют максимальное координатное расстояние между рассматриваемым нейроном и его соседями. Способ определения расстояния задает функция й(£, ^) = - г\.

Каждая клетка представляет собой процессор, который обладает количеством входов, соответствующим индексу окружения, и единственным выходом. Функционирование такого процессора сводится к вычислению параметрических функционалов, заданных в явной или неявной форме с непрерывным или дискретным временем. Общая форма динамического уравнения с явными функционалами для непрерывного времени имеет вид:

йх (г)

С[хе(г)] + £ г(хе(г - т, г), у2(г - т, г) р) +

г)

+£ Вг 2(xg( г - т, г), г - т, г)р) + г),

2еМг(г)

Уг(г) = ^(Хг(г - т, г)),

(2)

а для дискретного времени:

хг(П +1) = С[хг(п)] +£2(хг(п-т, т),у2(п-т, т)р ) +

2еМг(г)

+ 2(хг(п-т, т), и2(п-т, т);р^)+/г(п),

26^^ (г)

Уг(п) = Лхг(п-т, т)), (3)

где хг - внутреннее состояние клетки я (г), у2 - выходной сигнал клетки я (2), и2 - внешний входной вектор клетки э(г), I - смещение, С - локальная мгновенная функция обратной связи, рА,рв - массивы параметров, Аг2, Вг 2 - функционалы, соответствующие связям между клетками г) и 2).

Задача, подлежащая моделированию с помощью КНС, может быть также представлена в виде операторного уравнения:

ЬХ = и, (4)

где Ь - дифференциальный оператор, X - матрица состояния КНС, и - функция правой части.

Для решения данного уравнения следует воспользоваться одним из известных итерационных методов [6], которые предполагают сведение уравнения (4) к системе разностных уравнений на гомогенной сетке О с шагом Н:

ЬьХь =

(5)

формулы, соответствующей выбранному методу. При выборе подходящей итерационной формулы существенную роль играет вид разностного оператора Ьк. Основными критериями выбора разностного оператора являются форма шаблона, на которой он определен, и требования к порядку обновления данных на заданном шаблоне.

Локально-асинхронный метод [7], ориентированный на применение в клеточных нейронных сетях, позволяет сформировать шаблон разностного оператора, ограниченный степенью соседства г, и обеспечить асинхронный режим обмена, снимающий жесткое ограничение на обновления всех данных на шаблоне перед выполнением очередной итерации. Динамика клетки в данном случае определяется итерационной формулой:

хг( п + 1) = х&(п)--2 [Ь&х&(п) - иг], (6)

где Ьг - компонента разностного оператора, х^(п) - состояние клетки на итерационном шаге п, Н - величина шага дискретизации, wg - внутренний параметр, иг -значение сеточной функции.

Порядок обновления данных на шаблоне каждой компоненты разностного оператора Ьг определяется хаотической последовательностью {¿„}™= 1 непустых множеств {1,2, ...,п}. Используя эту последовательность, строят последовательность итераций {хг( п)} ™= 1 по правилу:

хг(п) =

хг(п - 1), г г 1п;

Ьг[х1(21(п)), х1(21(п)),...,х^Х^п))], .

(7)

где Ьк - разностный оператор, Хк - разностная матрица состояния, ик - сетевая функция.

В простейшем случае устанавливают прямое соответствие нейрона клеточной сети узлу сеточной области. Тогда динамика клетки должна обеспечивать решение одного разностного уравнения с помощью итерационной

Максимальная эффективность асинхронного алгоритма достигается при условии:

Я = {г е {1, 2, е №т > п}: г е 1п}. (8)

В этом случае говорят, что хаотическая последовательность {/я }~= 1 имеет максимальный осадок, что обусловлено наличием минимальной последовательности

множеств {т _.

г г = о

Возрастающую последовательность множеств называют минимальной при условиях:

1) т0 = 0; 2) 11. ={1, 2,., п}, г=0, 1, 2,. ;

; = т+1

, тг + ) - 1

3) с{ 1, 2, ...,п}, г = о, 1, 2, ....

. = тг + 1

Поэтому множество {2г(п)}^= 1, г = 0, 1, 2,...,Г| для асинхронного алгоритма (7) должно удовлетворять условиям: <(п - 1), 2; = (

г.

С целью упрощения алгоритма (7) формирования итерационной последовательности {хг( п)}~ = 1 вводят ограничение парасжимаемости на дифференциальный оператор Ь в уравнении (4). Условием парасжимаемости данного оператора является удовлетворение его неравенству:

||ЬХ- ф||< X - ф11.

(9)

В этом случае формирование итерационной последовательности {х(п)}~ = 1 будет происходить по правилу:

(п + 1) = Ьг(хг(4(п)), ...,)(п))), (10)

где {g(п)\п = 1, 2,...} - последовательность элементов

g(n) е Н; ^ = \г1(п) | , g = 1, Н, kg = 1.....к -

I g ^ п = 0

множество целых неотрицательных чисел, удовлетворяющих условиям:

0 < 2? , Ап)< п , п > 0,

к? (п) >

-М < 2? , (п)< 0, П = 0.

к?(п) К '

(11)

Р = Ь -1, р2 = Ь, Ь =

л

(12)

5(00)1 3(04)1 з(0В] 3(12] 8(16)1 8[гщ

8(03] г (07] 8(11] з(15] 8(19] э[гЗ]

5(06] 5(10] 5(14] 5(18] 5(22] 5(02]

Из условия (11) видно, что для стартовой итерации могут быть использованы данные от ранее стартовавших нейронов с некоторым ограничением М. Нейрон, опередивший своих соседей, может использовать устаревшие данные с глубиной запаздывания, максимальное значение которого равняется количеству итераций данного нейрона.

2 АЛГОРИТМ ТРАНЗИТНЫХ ПЕРЕСЫЛОК

В случае выбора шаблона, удовлетворяющего условию соседства (1), нейроны клеточной сети, входящие в один шаблон, имеют прямые связи, которые позволяют получать необходимые данные для вычислений по итерационной формуле (10). Однако существует большая группа задач, не позволяющих получить эффективное решение на локальном шаблоне. Для решения таких задач используют виртуальный шаблон, использующий алгоритм маршрутизации, заданный на циркулянтном графе [8].

Циркулянтным графом См(р1,р2,...,рт) будем называть регулярный граф с N вершинами и индексом окружения т, в котором каждая вершина п, 0 < п < N соединена с вершинами (п ± р. )mod N,1 < г < т с помощью множества соединений {р, р2,...,рт }.

Использование циркулянтных графов обусловлено возможностью формирования с их помощью оптимальных структур, характеризующихся минимальным диаметром и минимальным средним расстоянием. Для двумерной структуры с индексом окружения 4 параметры циркулянтного графа CN (р1, р2) будут иметь вид:

8(09] з(13] 8(17] г (21] 8(01] з(05]

Рисунок 2 — Циркулятная клеточная нейронная сеть

Алгоритм прокладки трассы в циркулянтной КНС основывается на использовании особенности топологии, базирующейся на том факте, что любые два нейрона обязательно входят во взаимно-пересекающиеся кольцевые структуры [11]. Пусть д - координата нейрона-источника. Тогда номера вертикального V и горизонтального Р колец, к которым принадлежит данный нейрон, определяют из выражения:

V = я mod (Ь -1), р = (Ь - я mod (Ь -l))mod Ь.

(13)

Кольца нейрона-источника и нейрона-приемника пересекаются в двух местах. Поэтому алгоритм прокладки трассы должен выбирать из четырех возможных вариантов маршрутов оптимальный, характеризующийся минимальным количеством транзитных пересылок. На рис. 3 показан пример оптимального маршрута, связывающего нейроны 5(10) и 5(15).

Известны два изоморфных представления циркулян-тных графов: хордовое кольцо [9] и мидимю сети [10]. Топология мидимю сетей подобна топологии клеточных нейронных сетей, поэтому может быть успешно применена для построения алгоритмов транзитных пересылок. На рис. 2 показан пример циркулянтной КНС с параметрами: Ь = 4, N = 24.

8(15]

8(22]

Рисунок 3 - Пример прокладки трассы

Алгоритм прокладки трассы оперирует переменными р и V, которые могут принимать только целые положительные или отрицательные значения. Длина маршрута, пройденного сообщением, определяется из выражения Б = + |у| и равна количеству ребер, через которые должно пройти сообщение на пути от источника д

к приемнику г. Минимизацию длины маршрута П проводят с учетом условия:

0 < m = z - g = v(b -l)+ pb < N.

(14)

Исходя из свойств циркулянтных графов, неравен" N'

ство (14) можно ограничить сверху 0 < m <

2

, и тем

самым решение поставленной задачи свести к решению уравнения:

m

= b(v + p)-v,

(15)

где т, р,V - целые со знаком, Ь > 1.

Пусть (р0, V)) - решение уравнения (15), тогда т =

= P0b + v0 (b —1). Введя параметры а =

в = m mod b,

представим решение уравнения (15) в форме:

p0 = а + b,

vo =-в.

(16)

Поскольку любое другое решение уравнение (15) может быть представлено в виде

т = РпЬ + vn(Ь-1), Рп = Ро -п(ь-l), vn = V) + пЬ, система уравнений (16) для любого решения примет вид:

Pn =а + в- n(b-l) vn =-в + nb,

(17)

begin

If z < g then begin m := g — s; s := —1; end else

begin m := s — g; s := 1;end;

If m > N div 2 then

begins :=—s; m := N — m;end;

v := —(m mod fe); p :=(m div fe) — v;

vv := fe + v; pp := p — (fe — l)

begm vs := vv; v„s := v; Ps := pp; pm := p; ys := .y;end; vs := vs *s; vns := vns *s; ps := ps *s; pns := pns *s;

end

ЗАКЛЮЧЕНИЕ

Основные достижения в области построения и исследования искусственных нейронных сетей базируются на использовании классической модели формального нейрона, что существенно ограничивает сферу их применения и затрудняет дальнейшее развитие. В работе сделана попытка расширить вычислительные возможности нейронных клеточных сетей путем применения математического аппарата численных методов. С целью получения возможности использования шаблона, не совпадающего со структурой связей КНС (виртуального шаблона), предложен алгоритм транзитных пересылок, базирующийся на использовании свойств циркулянтных графов.

ПЕРЕЧЕНЬ ССЫЛОК

1.

где n - целое.

Алгоритм, построенный на использовании описанных особенностей циркулянтных графов, позволяет получить кратчайшую (ps,v) и (рж,vns) альтернативную трассу взаимодействия между двумя нейронами клеточной сети.

Procedure Transit (g, z)

2.

3.

4.

5.

6.

7.

8.

9.

Использование процедуры Transit в каждой клетке нейронной сети дает возможность определить оптимальное направление передачи сообщения, реализуя тем самым локальную компоненту глобального механизма поиска кратчайшего пути. Наличие альтернативного пути передачи является основой для разработки различных механизмов повышения живучести КНС.

McCulloch W.S., Pitts W. A logical calculus of the ideas immanent in nervous activity // Bulletin of Mathematical Biophysics. - 1943. - № 5. - pp. 115-133. Shih F. Y., Moh J., Chang F. A new ART-based neural architecture for pattern classification and image enhancement without prior knowledge // Pattern Recognition. - 1992. -vol. 25, №. 5. - pp. 533-542.

Martinetz T.M., Berkovich S.G., Schulten K.J. "Neural-Gas" Network for Vector Quantization and its Application to the Time-Series Prediction // IEEE Transactions on Neural Networks. - 1993 - vol. 4, №4 - pp. 558-569. Chua L.O., Yang L. Cellular Neural Networks. Theory. // IEEE Transactions on Circuits and Systems. - 1988. - vol. 35, № 10. - pp. 1257-1272.

Chua L. O. CNN: A Paradigm for Complexity. - World Scientific, Singapore, 1998. 380 p.

Самарский A.A., Николаев E.C. Методы решения сеточных уравнений. - М.:Наука,1978.-592 с. Новотарський M.A., Нестеренко Б.Б. Штучш нейронш мережи обчислення.-К.: ¡н-т математики НАН Украши, 2004. - 404 с.

Boesh F.T., Wang J. Reliable circulant networks with minimum transmission delay // IEEE Trans. Cir. And Sys.-1984. - CAS-32. - pp. 1286-1291.

Bermond J.C., Comellas F., Hsu D.F. Distributed Loop Computer Network : A Survey // Journal of Parallel and Distributed Computing. - 1995. - vol. 24. - pp. 2-10.

10. Puente V., Izu C, Gregorio G.A., Beivide R., Prellezo J.M., Vallejo F. Rearranging Links to Improve the Performance of Parallel Computers: The Case of Midimew Networks // Proc. Of International Conference on Supercomputing, ICS'2000. - 2000. - pp. 44-53.

11. Нестеренко Б.Б., Новотарский M.A. Мультипроцессорные системы. - Киев: Ин-т математики. - 1995. - 408 с.

Надшшла 30.01.2004 Шсля доробки 22.06.2004

В po6omi дано обгрунтування актуальност1 створення бгльш складних, у nорiвняннi з класичними, структур ней-ротв, якi могли б працювати з дискретним представленням iнформацi'i. Pозглянуmi принципи функцюнування клim-кових нейронних мереж у неперервному та дискретному часi. Описана динамiка функцюнування дискретно'1 клim-ковоЧ мережi, яка орieнmована на розв'язування опера-торних рiвнянь чисельними методами. Запропоновано меха-тзм оптимальних транзитних пересилань для реалiзацi'i imерацiйних обчислень на вiрmуальному шаблот.

In paper the justification of urgency for making more complicated, in comparison with classical, structures of neurons working with digital representation of the information is given. The principles of operation of cellular neural networks in continuous and discrete time are construed. The dynamic of operation of a discrete cellular network oriented on a solution of the statement equations by the numerical methods is described. The mechanism of optimum transit transmissions for realization of iterative evaluations on a virtual template is offered.