CC BY
46
УДК 512.5
АЛГЕБРАИЧЕСКИЕ СВОЙСТВА РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ ДИСКРЕТНОГО ВРЕМЕНИ
И.И. Слеповичев
Саратовский государственный университет, кафедра теоретических основ компьютерной безопасности и криптографии E-mail: [email protected]
Быстрый рост числа публикаций на темы, связанные с теорией искусственных нейронных сетей, свидетельствует о том, что искусственные нейронные сети являются довольно эффективным инструментом при решении очень широкого класса задач. Однако до сих пор не существует строгого формального обоснования ряда важных свойств нейронных сетей. В данной работе делается попытка формализовать важнейшие объекты нейроинформатаки и рассмотреть их свойства с точки зрения прикладной алгебры. Предлагается рассматривать искусственные нейронные сети как многоосновные алгебры, вследствие чего для них оказываются справедливы аналоги важнейших теорем о связи между подалгебрами и гомоморфизмами, теорем о связи между конгруэнциями и гомоморфизмами алгебры, а также теорема о проекциях прямого произведения алгебр.
Algebraic properties of recurrent neural networks of discrete time
I.I. Slepovichev
Artificial neural networks can be used effectively for a quite general class of problems. Still there exists no formal foundation of some important constructions used in the theory. In this paper an attempt is undertaken to formalize some concepts of neuroinformatics and consider their properties from the point of view of applied universal algebra. It is proposed to treat neural networks as heterogeneous algebras which has made it possible to prove for them basic results similar to algebraic theorems on homomorphisms and congruences.
Введение
Более шестидесяти лет назад Мак-Каллоком и Питсом [1] была предложена модель, имитирующая нервную активность живых существ, которая до сих пор используется в качестве основы при создании искусственных нейронных сетей. В последние двадцать лет теория нейронных сетей развивалась довольно активно, о чем свидетельствует быстрый рост числа публикаций на эту тему [2]. Это связано с тем, что искусственные нейронные сети оказались довольно эффективными инструментами для построения вычислений не только в теории компьютерных наук, но и для решения многих практических задач (распознавание образов, прогнозирование, диагностика в медицине и т.д.). Наряду с этим, «современная прикладная алгебра является одним из главных инструментов математической кибернетики» [3]. В рамках современной прикладной алгебры был получен ряд важных результатов, имеющих большое прикладное значение. Однако, несмотря на значительное количество публикаций нейросетевой тематики, попыток применить к нейронным сетям результаты, полученные в рамках прикладной универсальной алгебры, крайне мало [4]. В данной статье делается попытка восполнить существующий пробел и рассмотреть ряд свойств нейронных сетей как объектов прикладной универсальной алгебры.
Функциональный элемент
Далее всюду через Я обозначается множество всех действительных чисел.
Пусть е <£ Я — вспомогательный элемент.
Функциональный элемент (ФЭ) можно задать четверкой (Б,Х, У, где 5 = {х!Ше} сг Я"1"" — множество состояний, X = {х;п} с Я"" и {е} — множество входных сигналов, У - {хош } с Яп°ш и{<?} — множество выходных сигналов, 5 х X —> У— функция преобразования.
Вектор, поступивший на вход ФЭ, а также вектор, снятый на выходе ФЭ, будем называть сигналами. Функционирование такого элемента в дискретном времени происходит следующим образом (рисунок):
• в момент времени ? е ТУ на вход ФЭ подаётся некоторый вектор хш е X;
• в момент времени * + 1 происходит преобразование и выдача сигнала по формуле х0ш := ё(х!Ше,х1п), причем в определении функции g должно быть описано правило обработки вектора хы, некоторые компоненты которого равны е. Результатом работы ФЭ является вектор хоШ.
В дальнейшем входные и выходные сигналы ФЭ будем рассматривать как функции, зависящие от Тогда модель функционирования ФЭ можно будет переписать так: хош (? +1) := g(xítale, хш (/)). В случае, если состояние ФЭ меняется во времени, эта формула приобретёт вид хош (? +1) := ё(ххше(О, Хш (0) •
Связи функциональных элементов
Два ФЭ Fl = (51, X, У1, и Г2 = (52, X2, У2, g2) можно соединить следующим образом. Пусть г — номер компоненты выходного вектора ххпМ{?)е У1, а/ — номер компоненты входного вектора х,2 (?) е X2, где ? е N. Будем говорить, что г-я компонента выхода функционального элемента Т«"1 соединена су-й компонентой входа функционального элемента Р1, если х2..п (?) := х]ош (?).
Множество функциональных элементов
Пусть у нас есть множество ФЭ £ = {/<" г' = 1,т|, Т7' = (51, X, У1, £'). Введём следующие
величины:
Ры-=п1+п1 +••• + < = Рош :="L+"L + • •• + "!>
п —п +п2 + +п"'
У state ' state state..... state'
Мы можем определить множества X, У, являющиеся декартовыми произведениями множеств X, У, S1 соответственно всех ФЭ из Е:
Х = Х1хХ2х...хХ'\ У = У1хУ2х...хУш, S = SlxS2x...xSm.
В дальнейшем удобно будет иметь сплошную нумерацию компонент выходов, компонент входов и компонент состояний элементов F' внутри множества Е. Для этого введем соответствующие обозначения компонент векторов хпШ е У, хш е X, ххШе е 5:
..1 „2 „2
X ~(х] V х1 X X х ••• х" x'n xm V=
Лош ~ v 1,оиг' 2,out >"•> ,out' Uout' 2,out >•'•> )0ut' ' ЛЬоШ » л2,оШ »• • •' iOU, > *
= (-*1,ои/ ' Х2,ош ' • • • ' -*>„„, ,out )'
x = fx1 x1 x1 x2 x2 ~ x2 ••• xm xm xm )-
in \л\Jn ' 2,in '•••> „! in ' Л1 ,in ' 2,in >•••> л? ,'„ ' ' 1,<я ' 2, in »•••» **„« ;„ / • = (-"•1,/и ' X2,in ' • • • ' Хрш jn )'
X = ix' X1 X1 X2 X2 X2 ••• Xй xm xm V=
V Л1 ,Ш№ ' Л2,*И/е » • • • ' ,slate' Л1 .state ' Л2,state > * • •' >s,ate ' ' Л1 ' **2,ife№ ' * ** ' Л„-ю iJtote ^ *
— (-""l.s/a/e ' X2,state » • • • > XpMI(:,state )*
Можно также определить функцию G : S х У:
G{xslale,х,.„(xslate,xin),g (xslate,xjn),...,g {xstate,x;n . Введем обозначения:
= {1,2,...,ш}х{1,2„. ш}х...х{1,2,= {1,2,...,/<'",
Pin P<*
Is = {l,2,...,m}x{l,2,...,m}x...x{l,2,...,m} = {l,2,...,m}/'"-,
P stale P<"
IY -{1,2,...,m}x{\,2,...,m}x...x{\,2,...,m} = {1,2,...,т}Рош.
Pou, раз
Определим следующие функции:
1) а : X Iх, хи а, где
ХШ ~ (Х1,И' ХЦя' • ■ ■' ,,„' ' Х2,!П ' • • ■ ' ,„''"' \й| ' *2,/Л ' • • • 9 ,,„) (Х1,И ' -"-г,« 9 • • •' Хл„ ,Ш )'
п]„ п1 ,с
Очевидно, что для любого /, 1 < г < т, и любого хш е X, имея функцию а . Iх, мы можем однозначно восстановить вектор х.\
2) /3: Б -> Р, х5Ше где
x = Гх' x1 х1 х2 х2 х2 ••• xй х'" x™ )•=
—(*1,*Гаи: 9 Х2,шт'' *'' Хртк,*Ш1е
Аналогично, для любого /, 1 < г < т, и любого х5И(е б имея функцию р: 5 —> /5, мы можем однозначно восстановить вектор х'м,р.
3)5: У^>1у,хош с, где
X =Гх' X1 х1 х2 х2 х2 ••• хт хт хт У=
ЛИ1« 9 2,ОШ 9***9 ,ои; ' Л],0!/( 9 2,ОШ 9 * * * 9 ^ „,„ > 9 Л1,0и( ' Л2;ОИ( 9 * * * ' Л„»( / *
= (Х1,ОН/ 9 -^З.О!« 9 • ■ • 5 ,оц, )>
ПЛ. С/7еповтев. Алгебраические свойства рекуррентных нейронных сетей с:= (cx,c2,...,cp J~ (1,1,...,1,2,2,...,2,...,m,m,...,m)
Также очевидно, что для любого i, 1 <i<m, и любого хоМ е У, имея функцию S: Y Iy, мы можем однозначно восстановить вектор х'ош
Другими словами, три функции а, Д <5 позволяют нам однозначно получить множества X, У, S', имея множества X, Y, S, а также получить функции g, имея функцию G. В общем случае, функции а, Д <5 для разных значений аргументов могут принимать различные значения, однако в дальнейшем мы будем считать, что эти функции принимают постоянные значения для всех своих аргументов.
Мы можем задать связи между функциональными элементами из множества Е с помощью некоторой операции К. Для этого введём следующие обозначения: Iin = {1,2, ...,/>,„} —множество индексов компонент входного вектора, Iout ={1,2,..., рош\ — множество индексов компонент выходного вектора,
С ■= 4х-..х/ш,/£ := IoMx...xIoa, 7:= /£ U{0},С» := U{0}.
Pin РШ Р,„ Раз
Определим операцию К :TxY X, хош е Y ,Ъ е 7 так, что
где х ¡ :=
Г xki . если Ъ, Ф 0. | е, если 6. - 0.
Нейронная сеть дискретного времени с постоянным вектором состояния
Пусть у нас есть множество функциональных элементов 2? = {/" |/= 1,т|. Теперь можно
дать определение нейронной сети, функционирующей в дискретном времени.
Определение 1. Нейронной сетью дискретного времени (НСДВ) назовём структуру N = (Е,С,К,х0,Т), функционирующую в дискретном времени следующим образом:
х1п(! + \) = Кф,хш(! + \)),
где Т — количество тактов функционирования до останова (до снятия выходного сигнала), 1 < / < Г — такт функционирования, Ъ е I — вектор, определяющий связи функциональных элементов, К : 7 х У X — операция, определяющая входной сигнал НСДВ, Х=Х] х X2 х ... х х Хр,п — множество входных векторов нейросети, У = У1 х У2 х ... х Хт — множество выходных векторов нейросети, £ = 511 х £ 2 х ... х Б т — множество векторов состояния нейросети, хы(г),х0е X — входной вектор нейросети в момент I и начальный входной вектор соответственно, хош (?)е У — выходной вектор нейросети в момент х,ше е Б — вектор состояния нейросети.
Из определения видно, что нейронная сеть N - это устройство, преобразующее входной вектор х0 в выходной вектор хои1 (Т) за Т тактов функционирования.
Состояние НСДВ в любой момент времени I полностью описывается вектором, задающим состояния ххш1е е и вектором Ь е I внутренних связей НСДВ. Выше было дано определение НСДВ, для которой состояние, заданное парой {х5Ше,Ь}, оставалось неизменным при всех Т тактах функционирования. Однако во многих случаях важен не только результат, получаемый на выходе нейросети, но и то состояние, в которое эта нейросеть перейдёт в следующий момент времени. Модель, описанная в определении 1, не предусматривает такого изменения состояния, поэтому дополним эту модель для случая, когда вектор состояний ххШ1е е 51 может меняться.
Рекуррентная нейронная сеть дискретного времени с изменяющимся вектором состояния
Определение 2. Рекуррентной нейронной сетью дискретного времени (РНСДВ) назовём НСДВ N = (Е,С,К,Н,х0,Т0,Т), для которой определены отображения//: 5 хХ—» (7 : 5 х Х-^ У и вектор начального состояния такие, что
хы(0) = х0,
= V
Хои1 (/+1) = 6(^(0,^(0),
х1п({ + 1) = К(Ь,хош(1 + \)).
Эквивалентное определение РНСДВ с изменяющимся вектором состояния
Рассмотрим множество функциональных элементов £ = {^|г = 1,/и|. Это множество мы
можем задать с помощью трёх множеств 5, X, У, трёх функций а, Д £ и функции С. Поэтому рекуррентную нейронную сеть дискретного времени мы можем задать и другим способом: N = (Б,Х,У,а,Р,8,С,К,Н,х0,10,Т). Это определение эквивалентно определению 2, поэтому будем его использовать там, где это удобнее.
Эквивалентность состояний
Теперь определим отношение эквивалентности е с БхБ.
Определение 3. Два состояния хашЛ и хЗШе2 будем считать эквивалентными, если для любо-го 1 < / < Т, и для любого хы (/) е X верны равенства
°(х*ше1>Ъп( 0) = С(ххШ1е2,хш(1)) = хои!а + \),
Н {Ъше 1 > (0) = Н (Х!ше2, Х,„ (/)) = Х^ {I + 1).
Другими словами, два состояния нейронной сети эквивалентны, если при одном и том же входном сигнале оба состояния приводят к одному и тому же выходному сигналу и к одному и тому же новому состоянию.
Очевидно, что заданное таким образом отношение будет рефлексивным и симметричным. Транзитивность же следует из следующих равенств для (хш1Л,х5Ше2)е е и (х11а1е2,х!Ше3)е е:
0(х„а,л, хы (0) = С(хм,е2, хы (0) = Зсои, (I +1), С(х<ше2, х,„ (0) = С(х„а1е,, хш (0) = хпи1 (/ + 1).
Аналогичные равенства можно указать для функции Н. Следовательно, (x,latel,xstatei)e s. Через с(xstau, ) будем обозначать совокупность всех элементов из S, эквивалентных состоя-нию xsl-le.
Мы также можем задать эквивалентность р çzXxX на множестве входных векторов РНСДВ N: два вектора х.п1 и хы2 будем считать эквивалентными, если для любого t, 1 < t < Т, и для любого xstale(t)e S верны равенства
G [xsmte (0, хш) = G(xslafe (t), xm2) = xout (t +1),
H (¿„a,* (01 ) = H ( (0, 4 2 ) = С + О-
Через p(xin) будем обозначать совокупность всех элементов из X, эквивалентных хш. Можно также определить эквивалентность сг с 7x7 на множестве выходных векторов ней-росети. Два вектора x)mt и х2ш будем называть эквивалентными, если для любого bel верно равенство К(Ь,х{ош) = К(Ь,х2ш).
Зададим отношение эквивалентности г çz I х/ следующим образом: два вектора b\b2 е I будем считать эквивалентными в РНСДВ, если для любого t, 1 < t < Г, и для любого хоШ (t) е Y верно равенство K(b\xoJt)) = К(Ь2 ,x0Jt))-
Подсеть РНСДВ
Рассмотрим две РНСДВ N = (E,K,H,x0,s0,T)kN' = (Е',К',Н',х'0,1'0,Г), в которой E'œE. Операции для N1 определены следующим образом:
К\К х:ш) = кф,х0ш), G'(X,„,e, К ) = G(xsme, хы ),
HXKa,eX) = H(Xslale,Xm),
X = XlxX2x...xXm, 7 = 71х72х...х7ш, S = S1xS2x...xSm, m — число функциональных элементов в Е,
X' = Х1'хХ'2х...хХ\ Y' = 7'1х7'2х...х7\ 5" = 5"' xSh x...xSk, к — число функциональных элементов в Е',
1 < г, < г2 <... < 4 < m,
ххш? е x'n е х'ош е 7', — какое-либо состояние, входной сигнал и выходной сигнал РНСДВ N соответственно, a xslate е S, xm е X, xout е 7 и получаются из элементов x'state, x'in, х'ш следующим образом:
ut := (е,..•,е,х,'01Я,xlout,...,x'L ош,е,...,е,x?out,х2оШх^ ш,-;-,х,х24ои,,...,х^ пш,е,...,е):=
—(е,...,е,х iout,e,...,e,x ^out,e,...,e,x оШ,е,...,е).
Другими словами, если j = \,...,к, то для любого rj =l,2,...,nJ0Ul компонента xJr_out вектора хош равна е. Аналогично определяются вектора xstate е S, xin е X.
Нейронную сеть N будем называть подсетью сети N. Подсеть N' может быть получена из N удалением некоторых ФЭ и всех связей, в которых эти ФЭ участвуют.
В случае, если РНСДВ TV задана другим способом, мы можем определить подсеть N следующим образом: N' = (S', Х\ Y\ a \ /3,' 8\ G\ К\ Н\ х0', s0', Т) является подсетью сети N = (S,X,Y,a,p,5,G,K,H,x0,I0 ,Т), если S'qS, X'czX, У'сГ, и существует взаимно однозначное отображение
F\IS XIх xlr Is XIх xIY, F: (b[ a', c')\->Q>,a,c),
такое, что
xstateе S, p(xstate) = b, xin e X, a(xm) = a, xout e Y, 8(xout) = c,
x.L,e e s'> P'iKnJ = b', К e X\ a'(x'm) = a и e Y' д'(Хш) = c'> а операции заданы следующим образом: K'(d[ х'ш) = K(d,x'out), G'(x'lale,x'n) = G(x'taU.,К),
H'(Ka,e Х) = н (Кше ) , ГДе 7 G I,' J G 7.
Множество подсетей данной РНСДВ N будем обозначать через Sub N.
Гомоморфизм РНСДВ
Пусть Nl={S\X\Y\a\(i\8\G\K\H\xl,slJ)KN1=(<S\X\Y\a\p\8\G\K\H1,
, х2, s02, Г) — некоторые РНСДВ.
Определим гомоморфизм РНСДВ N] bN2/: yV, —>TV2 как отображение/: = (&>,<;,£"/, (р, ц/, %), ^fX ; g.jis gJlY r:ji /25 ¥.x\ X2, X Y1 Y2,
причём
Х02 = У (*<!)> =<К*о)>
а2(у(х1п)) = о)(с? (х,.„)),
ЗЧх(хом)) = ;(8\хоШ)), ¥(к\Ь,хоШ)) = К2{у(Ь),Х(хоа)), (3)
Д,)) = Я2 (Ф(1„й1;),у/(х1,,)), = с2 (ф(х!М/;),у/(хт)).
Множество всех гомоморфизмов/': /V] —> будем обозначать Нот (Щ, N2). Если каждое из отображений со, £ £ у, ср, у/, х является биективным, то нейросети и Л® будем называть изоморфными.
Конгруэнция РНСДВ
Пусть N = (Е,К,Н,х0,10,Т) — некоторая РНСДВ. Конгруэнцией.нейросети N будем называть четверку эквивалентностей О - (е, р, <т, г), где-£ cz Sx5, рс Jxl, сг с 7x7, тс/ х7, устойчивых относительно отображений G : S х X Y, Н \ S х Х~> Sn К : I х К—> А", т. е.
SA(xl(t),xl(t))e рл(4(0,4(/))б C7A(P,P)€ т =>
(K{b\xluXt))^{b\x2ou,{t)))ep
Другими словами, если эквивалентны состояния x]tate,x2ate, если эквивалентны входные векторы x]n,xfn, эквивалентны выходные векторы х1пШ,х^г и эквивалентны векторы b\b2, задающие связи, то будут эквивалентны выходные сигналы, входные сигналы и состояния нейросети, полученные в следующий момент времени.
Определение 4. Ядром отображения / называется множество
Kerf ■= {(a,b)e AxA\f(a) = f(b)}.
Определение 5. Пусть N = (S,X,Y,a,(3,5,G,K,H,x0,s0,T) — некоторая нейронная сеть и 9- (е, р, <т, т) — некоторая конгруэнция на ней. Факторсетью N/9 будем называть структуру
Л Л Л
N/6 = (S/s,X/ p,Y/<j,a,p,5,G,K,H,p(x0),s(s0),T), в которой S/s, Х/р, Y/a— фактор множества по эквивалентностям конгруэнции 9, а операции определены следующим образом:
H{e{xslale{t)\p{xin{t))) := £
К(уф),o{xm1{t)j) := p(K{Y{b),xoul(t))).
Теорема о связи между подсетями и гомоморфизмами (часть1). Пусть Nl ={S\X\Y\a\p\8\G\K\H\xlXJ\ N2 = (S2 ,Х2 ,Y2 ,G2 ,К2 ,Н2 ,х2 ,J2 ,Т) и f:Ni —> А/"2 — гомоморфизм нейросети N1 в нейросеть N2. Если Nl = (Sl ,Xl ,Yl ,al, (5\5l ,Gl ,Kl H\xq,Iq,T) -— подсеть в/V1 и N2 - (S2,X2, 72, a2, f52,52,G2,К2,H2,x2,J2,T) — гомоморфный образ подсети Nl, то f(Nx) (S2,X1, Y2,a2,¡32,82,G2,Kг,H2,x2,sQ2,T) — подсеть в N2.
Доказательство. Пусть Nl e Sub Nl и х2ш e ^(7'),х2а,г e (p(S] ), x2 e ij/(Xl),b2 e xC^') —произвольные элементы. Тогда найдутся xloul е 71, х]ше е S\ х}л е Х\ Ь] е 7' такие, что x2ul = %(x^ut), xLe=<P(xLelx-n=yy(xl), b2=y(bx). Так как Kl(b\x]out)e Х\ S1 и
G\xllale,x}n)e 7, то, поскольку/е Horn (N\, N2), имеем
d2(x2) = d2(¥(xl)) = co(dl(xl)),
P2(xL) = P2(<p(xD)=$Ф\х1ше)),
54x1) = S2U(xloul)) = ^(S\tJy
Известия Саратовского университет 2005. Т. 5. Сер. Математика. Механика. Информатика, вып. 1 Отображение Р1:1*2 у.Iх х/?* —> х/А' х/г определим следующим образом:
Для операций'выполняются следующие равенства:
Н\х1,е,х1) = Н\ср(х1Ше),¥(х1)) = Ч>{Н\х]ше,х1))ь <рф),
G\x2ate,x2) = G2{cp(x^tate),у(x.n)) = x(.G\xleX))£ X(Yl) •
и, значит, /(ЛГ')е Sub N2-
Теорема о связи между подсетями и гомоморфизмами (часть 2).
Пусть N2 :=(S2,X2,Y2,d2J2,S2,G2,K2,H2,x2,sQ2,T) — подсеть в N2 и нейронная сеть
Nl =(S\X\Y\a\fi\8\G\К1,Й\хо,1о,Т) является прообразом РНСДВ N2 при гомоморфном
отображении/: rf ^N2: f~\N2):= (S\X\?\a\(i\S\G\К1,Й\х10,sj, T). Тогда Nl будет подсетью в iV1.
Доказательство. Пусть N2 е Sub N2. Если хотя бы одно из множеств (p~l(S2), у/~1(Х2), у~1(1") пусто, то f ~l(N2)e Sub N\ Допустим, что эти множества не пустые. Возьмем произвольные элементы х]Ше е (p~\S2), x}n е у/~1(Х2), bl е у~\72), х\м е х \Y2). Используя то, что N2 е Sub N2, а/ — гомоморфизм из N1 в N2, получаем:
G>(d1(xl))=d2(¥(xl)), $Ф\х1а,е)) = Р\<р(х1и,е)\
Z(5l(xl0J) = 52(x(xD)-
Отображение/11 :/5 х/Л х/у —> Is х/А xl¥ определим следующим образом: Для операций вьшолняются следующие равенства:
X(G\xllateX)) = G2MxLJMxL))eY2, ¥(К\Р,х10ш)) = К\у(Ь1),х(х1ш))еХ2,
откуда Gl(xltaleX)z X~\Y2), Н\х)Ше,х1)с <P~\S2) и K\b\xlou,)z у~\Х2), и, значит,
f'l(N2)eSub N\ Теорема доказана.
Теорема о связи между гомоморфизмами и конгруэнциями нейросети (часть 1). Если/: = {со, ЩХ)~ гомоморфизм нейросети N = (S,X,Y,a,p,8,G,K,H,x0,s0,T),
то четверка эквивалентностей (Кег у, Кег ср, Кег цг, Кег х) является конгруэнцией этой нейросети. Доказательство. Пусть f: Nx —» N2 — гомоморфизм нейросети N] в нейросеть N2,
f: = (cn&Cr.VV.Z),a>- IхХ > £ -> I2S, £ Il¥ У ■ 11 ~> I 2, <Р- S1 -> S2,
у/:Х] -+Х2, х- Y1 -> Y2.
Покажем, что четверка эквивалентностей (Кег у, Кег ср, Кег щ Кег %) устойчива относительно операций Я1 : хХ ->5», Кх : Iх х Ух С1 : 5х хХ -> У1.
Пусть х^Зс^У1, ^еХ1, Ь\Ь2е7\ Если
(х^х^еКегср, 0Ь\Ь2)е Кегу, то *(*!)= ¥(х1) = ¥(х2),
<Р&е) = <Р&е\У(.Ь') = 7(.Ь2). Так как /- гомоморфизм,
<Р(Н\х]ше,х1)) = Н\ср{х]ше),¥(х1)) = Н2(ср(х2Ше),¥(х2)) = ср(Н1(х1е,х2))>
откуда
Кег ср.
Аналогично
= К2(у(Р),Х(х1,)) = К\у(Ь2),х(х2оМ))=¥ (К\Р,х2оШ)\
а значит,
(к\Ъ\х1)Л\Ь2,х1))^Кег¥.
Аналогичные равенства мы можем записать и для отображений У- Отсюда следует, что (Кег у, Кег ср, Кег щ Кег х) является конгруэнцией нейросети А7"1. Теорема доказана.
Теорема о связи между гомоморфизмами и конгруэнциями нейросети (часть 2). Пусть N = (5,Х,У,а,р,8,С,К,Н,х0,Т) — некоторая нейросеть и в=(е, р, <7, г) — конгруэнция на ней. Тогда имеем:
1) отображение {со, £ £ «а/ е, пм р, пШ а, па1 т) такое, что па1 е : 5 —» £ / £, пШ р : X —> X / р, паг а : У —> У / а, па1 т : / —> / / т — естественные отображения на соответствующие фактормножества, а со: Iх —»Iх, % : Iя —> /л, £ : / ' —» — тождественные отображения, является гомоморфизмом нейросети N на факторсеть N1 в.
2) семерка (Хх X, 5" х 5, У хУ, е, р, о, г) является ядром этого гомоморфизма. Доказательство. Используя определение операций в факторсети, имеем:
(па/ е)(Щх,ш,Мъ„т = £ (ЩхШ1е(0,х,(/))) =
= Л(ф1Ше(0),рШ0)) = Н((ш( е)(хме(0р)ШО)) ■
Аналогичные равенства мы можем записать для отображений па1 р, пШ а, пМ т. Отсюда делаем вывод, что (со, па1 £, пШ р, пШ а, па1 г) — гомоморфизм. Далее,
(*!.('),Кег ПШ £ <=> (пШ е)(х1Ше(1)) = (пШ е)(х2ш,е(1)) «
<=> ДО) = е(х2шМ « е,
и, следовательно, Кег па1 е= е. Аналогично
(^(0.^(0)6 Кег «А? Р <=> (пш р)(хК о) = (иа* р)(з£(0) <=> <=> РЙ(0) = Р(Л2(0) «Р,
(*L(0.(0)е Ker nat a^(nata) (х1ош(t)) = (nata)(x2ut(/)) <=> (0) = (0) « (0.(0) e CT,
(b\b2)e Ker nat x (nat z)(bl) = (nat z)(b2)
<=> t(P) = r(62) » (b\b2)e z.
Таким образом, (Ker nat c, Ker nat p, Ker nat a, Ker nat r) = 0. Теорема доказана.
Теорема о гомоморфизмах нейросети.
Пусть f: = (a>, £ (р, у/, /) — гомоморфизм нейросети Nl = (Sl,Xl,Yl,a ,/3',8l,Gl,Kl,H\ х0', J0', Т) на нейросеть N2 = (S2, X2 ,Y2 ,G2, К2, И2 ,х(2 ,J2, Т). Тогда нейросеть N] изоморфна фак-торсети /V1 IKer f.
Доказательство. Обозначим через 0 ядро гомоморфизма /, т. е. 0 = (Ker со, Ker Ker £ Ker у, Ker ср, Ker у/, Ker %). Согласно теореме о связи между гомоморфизмами и конгруэнциями нейросети (часть 1) 0 является конгруэнцией сети N1 . Определим отображение i: (im, г, г, ir, i'p, iV,iX),ia i-> a, £ : /3 /3, f :8 h-> S,ir \J{ IKery -7V : Sl/Кегср -> S2,z<" : X1 I Ker у X2, ix :YX IKer %^>Y2.
Покажем, что отображение г устанавливает взаимно однозначное соответствие между ней-росетями Nl/0nNl. Действительно,
Г((Кег(р)(х,ш1е)) = i%(Kercp)(x \Ше)) о<p(xSMte) = => ,х _)е tferp
=> (^егф)(х5Мгс) = (Кегср)(х
state
т. е. ср взаимно однозначно. Так как (р отображает 51 на S\ то для любого х2ме е S2 найдется *Leе S1 такой, что (p(xltate) = х2Ше. Тогда f ((Ker (р)(х]Ше)) = (р(х]Ше) = х2Ше, т. е. > сюрьективно. Аналогичные тождества мы можем доказать и для компонент ir, ix отображения
Докажем, что i — гомоморфизм. В самом деле, если xstate е Sl, хы е X , Xmu G I } ¿) £ I s ТО
i4H\xstale,xJ) = f ((Ker (р)(Н1 (xstate, хы ))) = = <P{H\xstate,xin)) = Hl((p(xstate),Y(xJ) = Я1 (f((& ^)(xslale))^((Ker¥)(xin))),
f (K1 (b, хош)) = Г ((Ker ¥)(K\b, xout))) = = Vu(Kl(b,xoJ) = К\у(Ъ),Х(х0Ш)) = К1 (f ((Ker y)(b)),ix ((Ker %)(xout))\
(Gl (xstale, x )) = ix ((Ker x)(Gl (xstate,xin))) -= X(Gl(xslate,xin)) = G\cp(xstate),¥(xJ) = Gl (/* ((Ker cp )(xstate )), Г ((Ker у/ )(xm))),
т. e. i сохраняет операции Я1, G\ К1. Теорема доказана.
Прямое произведение РНСДВ
Определение 6. Прямым произведением двух нейронных сетей
AT1 =(S\X\Y\a\p\8\G\K\H\xlsl,T) и N2 -(S2,X2J2,a2,p2,82,G2,K2,H2,x2X,T) назовем РНСДВ
N'xTV2 :=(S,X,Y,a,f3,8,G,K,H,xa,I0,T),
где S = S1 х S2 — множество состояний, X = X 1 х X 2 — множество входных сигналов, 7 = 71 х 72 — множество выходных сигналов, m1, m1 — количество функциональных элементов первой и второй РНСДВ соответственно,
fin Pilate Pout
a = ,,...,aj, +a\,m ml + a22 ),
p = (b\,b\,...,b' ,m]+b2,mx+b22,...,ml+b2 ),
"state Pstate
5 = (Cj,Cj,..-,c1, +c,2,m'+C2,...,w1+C22 ),
Pout Pout
Hdelate > *Le)> (x/„ , X2 )) := {Н\х]ше , X^ ), H2 (х2Ше , X,2 )), С((^еДи,(х',х2)) := (G'(*L ),G2(x2ate Д2))
для любых
(C^D^'x^.it^el'xI2, (xloul,x2ul)eYlxY2,(d\d2)erx J2.
Определение 7. Отображение
тг, \NlxN2 —>Nl,n] =(n* ,nsx),
в котором
n! :S^S2 ^S\{xlteXate)^x]tate, n?:XlxX2->X\(xl,x2)^xl, ^ :YlxY2 ^Y\(xlul,x2J^xloun 7i" : a —> a1,
nf :5->5l
и
л2: Nl xN2 —» TV2, л*, = ,л2,тг2у,л",л2 ,л2 ),
в котором
л2 :SlxS~ —> S2, (х1шк,х2ше) ь-> х2а(е,
л" : а —> а2, л52:8-> 82
называются проекциями прямого произведения Ах А6 на сомножители. Теорема о проекциях прямого произведения.
Проекции прямого произведения РНСДВ и М2 на сомножители являются гомоморфизмами.
Доказательство. Пусть
Ат'=(3\Х\У\а\р\8\С\К\Н\х1Х,П
М2=(52,Х2,У2,а2,(52,82,С2,К2,Н2,х2,12,Т) иД^хЛГ2 :=(8,Х,У,а,р,8,С,К,Н,х0,10,Т),
(х1ш,х2т1)еУ1хУ2,(1\с12)^Тх72.
Тогда
< тх^ ,х2а „) ,(х1 ,Х2))) = я ! {С\х]ше ,х1), С2 (Х2а1е,х2п)) =
Аналогичные равенства можно получить и для л* Рассмотрим теперь отображения л", л?, я,":
л?№х1ш,е,х1е)) = л>> (р\х1,е),р2(х2а1е)) = /31(х15Ше) = Р\л*{х1Ше,х2мЛ <^х1ш,х2ош)) = к' (8\х1Л5\х1)) = 8\х1,) = 8\лЦх1,х1)).
Аналогичные соотношения имеют место для каждой из компонент отображения л2. Теорема доказана.
Библиографический список
1. McCulloc W. S„ Pitts W.H.A logical calculus of the ideas immanent in nervous activity // Bull, of Math. Biophysics. 1943. V. 5. P. 115-133.
2. Псиола В. В. Обзор основных нейросетевых моделей // Интеллектуальные системы. 1999. Т. 4, вып. Ъ-4. С. 139-172.
3. Богомолов A.M., С алий В.Н. Алгебраические основы теории дискретных систем. М., 1997. С. 11.
4. Carrasco R.C., Mikel J.О., Forcada L. Efficient Encodings of finite automata in discrete-time recurrent neural networks- URL: http://www.dlsi.ua.es/~mlf/ docum/carrasco99p.pdf
