CC BY
57
УДК 004.032.26
Тищенко О. К.1, Плюс I. П.2, Копалiанi Д. С.3
1Канд. техн. наук, старший науковий сп1вроб1тник ПроблемноГ НДЛ АСУ Харювського национального университету
рад1оелектрон1ки, УкраГна, E-mail: [email protected] 2Канд. техн. наук, старший науковий сп1вроб1тник, пров1дний науковий сп1вроб1тник Проблемно'!' НДЛ АСУ Харювського
национального университету рад1оелектронжи, УкраГна 3Асп1рантка, Харювський нацональний ушверситет радоелектронки, УкраГна
Г1БРИДНА КАСКАДНА ОПТИМ1ЗОВАНА НЕЙРОННА МЕРЕЖА
Запропоновано нову архитектуру та алгоритми навчання для пбридно! каскадно! нейронно! мережi з оптимiзацieю пулу нейрошв у кожному каскада Запропонована пбридна каскадна нейронна мережа забезпечуе обчислювальну простоту та характеризуемся як слщкуючими, так i фiльтруючими властивостями.
Ключовi слова: нейронна мережа, оптимальне навчання, обчислювальний штелект, еволюцiонуюча гiбридна система.
ВСТУП
У цей час штучш нейроннi мереж1 (А№№) отримали широке поширення для розв'язання широкого класу проблем, пов'язаних з обробкою шформацп, задано! або у формi таблиць «об'ект - властив^ь», або часових ряда, що часто породжуються нестацiонарними нелшшними стохастичними або хаотичними системами. Переваги перед iншими пiдходами пояснюються, перш за все, !х ушверсальними апроксимуючими можливостя-ми i здатшстю до навчання.
Традицiйно пiд навчанням розумшть процес налаш-тування синаптичних ваг мереж1 за допомогою пе! чи шшо! процедури ошгашзацп, що вщшукуе екстремум заздалепдь заданого критерш навчання [1, 2]. Як1сть на-вчання може бути покращена шляхом настроювання не ■пльки синаптичних ваг, але й власне арх1тек1ури мереж1. Ця щея лежить в основi так званих еволюцшних систем обчислювального iнтелекту [3, 4], яш отримують у те-перiшнiй час усе бiльш широке поширення. У рамках цього шдходу можна видiлиги каскаднi нейроннi мереж1 [5-8] завдяки !х висок1й ефективносп та простои налаш-тування як синаптичних ваг, так i власне архггектури. Ця мережа стартуе з найпроспшо! арх1тектури (перший каскад), утворено! пулом [5] нейрошв, яю навчаються неза-лежно. Кожен з нейрошв пулу може в1дазнятися вщ iнших або активацiйною функщею, або методом навчання, при цьому нейрони пулу в процесi навчання мiж собою не взаемодiють. Шсля того, як усi нейрони пулу першого каскаду налаштоват, з них обираеться один найкращий у сена прийнятого критерiю, всi ж iншi видаляються, в результатi чого i формуеться перший каскад, утворений единим нейроном, синаптичш ваги якого надалi не на-лаштовуються - «заморожуються».
Пiсля цього формуеться другий каскад, який, як правило, утворено пулом тих же нейрошв з лею лише рiзни-цею, що щ нейрони мають додатковий вхщ (а, отже, i додаткову синаптичну вагу), утворений виходом першого каскаду. Надалi все вiдбуваеться аналопчно до попе-реднього каскаду, в результата чого другий каскад також
складаеться з единого найкращого нейрону iз заморо-женими вагами. Нейрони третього каскаду мають вже по два додаткових входи: виходи першого i другого каскада, надалi все ввдбуваеться аналогiчно до попередньо-го каскаду. Процес нарощування каскадiв еволюцшно! архггектури продовжуеться доти, доки не буде досягнуто необхвдно! якосп розв'язання задачi на навчальнiй вибiрцi.
Автори найбшьш популярно! каскадно! нейронно! ме-режi Са8СогЬа Фальман та Леб' ер у якосп нейронiв ме-режi використовували елементарнi персептрони Ф.Ро-зенблатта iз традиц1йними сигмо!дальними активацшни-ми функцiями, синаптичнi ваги яких налаштовуються за допомогою Ршекргор-алгоритму, що е модифжащею 5-правила навчання.
У [9-16] в якосп вузлiв каскадно! мережi були викори-станi рiзнi типи нейронiв. Тут, однак, слад зазначити, що при роботi з рiзнотипними вузлами неможливо видiлиги в пут единий найкращий нейрон. При робоп з нестацю-нарними об'ектами може виникнути ситуацiя, коли на однш частинi навчально! вибiрки найкращим виявиться один нейрон, а на шшш - зовсiм iнший. У зв'язку з цим цiлком природно в пулi зберiгати всi нейрони (без визна-чення найкращого нейрона-переможця), а вихвдний сигнал каскаду формувати шляхом об' еднання виходiв уах вузлiв пулу на основi деяко! оптимiзацiйно! процедури, що породжуеться загальним критерiем якостi роботи нейронно! мереж1.
Синтезу тако! пбридно! оптимiзовано! нейронно! ме-режi i присвячено цю статтю.
АРХ1ТЕКТУРА КАСКАДНО1 ОПТИМ1ЗОВАНО1 НЕЙГОННО1 МЕРЕЖ1
На вх1д мереж1 (рецепторний шар) надходить вектор-
ний сигнал х(к) = (^ (к),Х2 (к),...,хп (к))Т, де
к = 1,2,... - або номер образу в таблиц «об'ект - влас-тивють», або поточний дискретний час. Цей сигнал по-
даеться на входи всiх нейрошв мережi Ж[т] (у = 1,2,..., д-
число нейрошв у щш, т = 1,2,... - номер каскаду), на
© Тищенко О. К., Плюс I. П., Кончат Д. С., 2014 DOI 10.15588/1607-3274-2014-1-18
виходах яких з'являються сигнали у[т] (к). Надал ц1 сигналы об'еднуються за допомогою узагальнюючого нейрону ОН[т], котрий формуе оптимальний вихвд т -го каскаду у*[т] (к). При цьому, якщо на нейрони першого каскаду подаеться тшьки вектор х (к), котрий у загальному випадку може мютити i сигнал змiщення х0 (к) = 1, то нейрони другого каскаду мають додатковий вхвд для сигналу
У
![1]
(к), третього каскаду - два додаткових входи у [ ] (к),
у*[2] (к), т-го каскаду - (т-1) додаткових входа у*[1] (к),
у*[2] (к),..., у*[т-1] (к). Каскади формуються в процесi навчання мереж1, коли стае зрозумiло, що всi попередш каскади не забезпечують необхвдну як1сть навчання.
НАВЧАННЯ ОКРЕМИХ НЕЙРОН1В У КАСКАДН1Й НЕЙРОНН1Й МЕРЕЖ1
Розглянемо ситуацiю, коли ] -ий нейрон т -го каскаду мереж е традицiйним елементарним персептроном Розенблатта з акгивацiйною функцiею
0 < ст[т] (у[ут]и[т] ) = -
1
1 + е
у[Г]"[Г]
< 1,
[т] • .. ... .
де и] - сигнал внут^ишньо1 активацil ] -го нейрону т-го
[т] р-р •
каскаду, у] - параметр крутизни. Теда вихiднi сигнали
нейронiв пулу першого каскаду можуть бути представ-ленi у формi
У*=]
] Е »И х
1=0
= СТМ ((м[1]Тх),
Таким чином, каскадна мережа, що утворена пер-септронами Розенблатта та складаеться з т каскадiв,
мiстить
т-1
г(п + 2)+ £ р
Р=1 ,
параметрiв включно з пара-
метрами крутизни у [р], р = 1,2,..., т.
У якосп критерш навчання використовуватимемо традищйну квадратичну функцш
] (к ) = 2 (е[т] (к ))2 = 2 (У (к )-Ут] (к ))2 = = 1 (У (к (( (к )))2 =
[т]
(
п+т-1
У (к)-] 1 (У (к)-] (
[т] V .[т] х[т]
] т]1
V 1 =0
(к)
лл
(1)
[ т] .[т]Тх[т]
(к )))2
де у (к) - зовшшнш навчальний сигнал.
Процедура градiентноl ошишзацп критерiю (1) за
[т]
може бути записана у рекурентнш формi
] (к +1) = ] (к)-] (к +1) V] ] (к +1) = = ] (к) + ] (к + 1) е[т] (к +1) ут]у[т] (к +1) х х( - у[т] (к + 1))х[т] (к +1)= (2)
= ] (к) + ] (к +1) е[т] (к +1) ут]] (к +1)
(тут м] - 1 -а синаптична вага ]-ого нейрону першого каскаду, х = (1,х1,х2,...,хп)Т , при цьому звичайно вхiднi сигнали за допомогою елементарного перетворення кодують-ся так, що 0 < х^ < 1, виходи неИронiв другого каскаду:
"[2] [2] Уу =стУ
( ( [2]
[2] 1*1- -I Л
[2] 1*1- -I
Е +.]п+1 -у
V 1=0
[1]
//
виходи т -го каскаду:
у[т] = „[т]
■у] ]
( ( ,,[т]
V 1=0
[т] У*[1] +.[т] У*[2]
]
+1У
+2 У
[т] у*[ т-1] ],п+т-
+ ... + ..._1 у
= а[т]
( п+т-1 [т] £
У] Е "]1 "]
]
.[т] х[т]
1=0
=ст] ^
-~[т] (]Тх[т]),
де х[ т] =(хТ, у*[1],
*[ т-1] )Т
(тут ] (к +1) - параметр крону настроювання), а
мiнiмiзацiя (1) за параметром у[]т] може бути забезпече-на за допомогою методу Крушке-Мовеллана) [17]:
У[т] (к +1) = ] (к(к + 1)дЕ[т] (к +1)/ ду]ш] =
= ] (к) + цМ (к +1) ] (к +1) У[т] (к +1) >
с(1 - у[т] (к + 1))] (к +1).
(3)
Об'еднуючи процедури (2) та (3), приходимо до стльно-го методу навчання -го нейрону т -го каскаду:
( [т] ^ J
(к +1
Л ( [т] Ж,- J
у]т] (к +1)
(к)
Л
] (к)
+ ] (к +1) е[т] (к + 1)
[т],
ху^ (к+1)(1 - у[т] (к+1)
(у]т]х[т] (к + 1)
и]т]
V J
(к +1)
або, вводячи нов1 позначення, у б1льш компактнш формг
*[тп] (к +1) = *[т] (к) + п[т] (к + 1)е[т] (к + 1))>|^т] X х(к +1)(1 - >>[т] (к +1)))] (к +1) = = *[т] (к) + пт] (к +1) е[т] (к +1) .7 ^ (к +1).
Полшшити характер процесу настроювання можна, вводячи до алгоритму навчання регуляризуючий член [18-20], при цьому заметь критерш навчання (1) вико-ристовуеться функщя
Ет (к) = П (е|т] (к ))2 + ЬЛЦ (к)-уу|т] (к -1) 2,о < п < 1, (4)
а сам метод набувае вигляду:
*[т] (к +1) = *[т] (к) + + пт] (к +1) )пе[т] (к + 1)т] (к +1) + (1 - п)
х( * [т] (к)-* [т] (к -1))),
(5)
що е модифжащею ведомо! процедури Сшьви-Альмей-ди [19].
Використовуючи надал1 шдхщ запропонований у [21, 22], можна ввести до (5) згладжувальш 1 фшьтрукш властивосп. При цьому приходимо до шнцево! форми:
*[т] (к +1) = *[т] (к) + Пе[т] (к +1) 1[т] (к +1) + (1 - п) ( (к) - (к -1))
г[ т]
(к +1)
г[т] (к+1) = Дт] (к)+111[т] (к+1)2 1[т (к - Л12
(6)
де 5 - розмф ковзкого в1кна.
Цдкаво, що при 5 = 1, п = 1 приходимо до нелЫйного вар1анту оптимального за швидкод1ею методу Качмажа-Увдроу-Хоффа [23-25]
[ ] [ ] е[т] (к + 1)1[т] (к +1) *[т] (к +1) = *[т] (к) + ^-'
1)т] (к +1)
що широко використовуеться у практищ навчання штуч-них нейронних мереж.
ОПТИМВАЦЮ ВИХ1ДНОГО СИГНАЛУ ПУЛУ НЕЙГОШВ
Вихвдт сигнали вах нейрошв пулу кожного каскаду
об'еднуються нейроном ОЫ[т], вихвд якого >>*[т] (к) за точ-
тстю повинен перевершувати будь-який з сигнал1в У>[т ] (к). Ця задача може бути розглянута з позицш нелшшного про-
грамування з використанням адаптивного узагальненого прогнозування [26-31].
Вводячи до розгляду вектор вихвдних сигнал1в пулу т-
го каскаду >[т] (к) = (>т] (к), (к),...,у\т] (к))Т , формуватимемо оптимальний вихщний сигнал нейрону ОЫ[т], що е по суп адаптивним лшшним асощатором [1, 2], у вигляд
/[т] (к) = £ с[т]у[т] (к) = с[т]ту[т] (к) 1=1
за додаткових обмежень на незмщешсть
£ с[т] = Етс[т] = 1, =1
(7)
де с[т] =(с}т],с2т],^,с[т])Т , Е = (1,1,„.,1 )Т-(дх 1) -вектори.
Вводячи надал1 критерш навчання на ковзному вгкт Е[т] (к)= 1 £ (>(т)-/[т] (т))2 =
' т=к-5+1
2 £ (>со-
,с[т]Ту[т
• т=к-5+1
(т))2
з урахуванням обмеження (7), запишемо функцш Лаг-ранжа вигляду
¿т] (к) = Е[т] (к) + х( -ЕТс[т]),
(8)
де X - невизначений множник Лагранжа.
Пряма м1тм1защя (8) за с[т] веде до ствввдношення
У[т] (к +1) =
>[т]Т (к + 1)Р[т] (к + 1)Е
ЕТР[т] (к + 1)Е
( к+1
-1
(9)
Р[т] (к +1)= £ >>[т] (т)>[т]Т (т)
\г=к-5+2
або в рекурентнш форм1:
Р[т] (к +1) = Р[т] (к)-Р[т] (к) >[т] (к +1) >>[т]Т (к +1) Р[т] (к) 1 + >[т]Т (к + 1)Р[т] (к)>[т] (к +1) ' Р[т] (к +1) = Р[т] (к +1)+ (10)
Р[т] (к + 1).^[т] (к - 5 + 1) )[т]Т (к - 5 + 1) Р[т] (к + 1) + 1 - >[т]Т (к - 5 + 1) рР[т] (к + 1))[т] (к - 5 + 1) '
У[т] (к +1)-
*[т] ( + 1) = ^[т] (к + 1)Р[т] (к + 1)Е
ЕТР[т] (к + 1)Е
При 5 = 1 сшввщношення (9), (10) набувають вкрай простого вигляду:
*[m]
(к +1) =
y[m]T (к + 1)y[m] (к +1)
y[m] (к +1)
ETy[m] (к +1)
ET y (к +1)
t (( (к +1))2
= j=1_
iy;m] (к+1)
j=1
(11)
Тут важливо вiдзначити, що як навчання нейронiв у каскадах, так i навчання узагальнюючих нейрошв можна органiзувати в адаптивному режима При цьому ваги всiх попередшх каскадiв не заморожуються, а постшно на-лаштовуються, число каскадiв може як збшьшуватися, так i зменшуватися, що випдно вiдрiзняe запропоновану нейронну мережу вiд вiдомих каскадних систем.
ВИСНОВОК
У статт запропоновано архитектуру та методи навчання пбридно1 оптимiзованоï каскадно1 нейронно1 мережi, що вiдрiзняетъся ввд ввдомих каскадних систем обчислю-вального iнтелекту можливiстю обробки часових рядiв в адаптивному режим^ що дае можливiсть обробляти не-стацiонарнi стохастичнi та хаотичнi сигнали нелшйних об'ектiв з необхiдною точшстю. У порiвняннi зi сво1ми прототипами запропонована система вiдрiзняеться об-числювальною простотою i вiдзначаеться як слвдкуючи-ми, так i фiльтруючими властивостями.
СПИСОК Л1ТЕРАТУРИ
1. CichocH, A. Neural Networks for Optimization and Signal Processing / A. Cichocki, R. Unbehauen. - Stuttgart : Teubner, 1993. - 526 p.
2. Haytin, S. Neural Networks. A Comprehensive Foundation / S. Haykin. - Upper Saddle River : Prentice Hall, 1999. - 842 p.
3. Kasabov, N. Evolving Connectionist Systems / Kasabov N. -London : Springer-Verlag, 2003. - 307 p.
4. Lughofer, E. Evolving Fuzzy Systems - Methodologies, Advanced Concepts and Applications / Lughofer E. - BerlinHeidelberg: Springer-Verlag, 2011. - 454 p.
5. Fahlman, S. E. The cascade-correlation learning architecture. Advances in Neural Information Processing Systems / S. E. Fahlman, C. Lebiere ; Ed. by D. S. Touretzky. - San Mateo, CA : Morgan Kaufman, 1990. - P. 524-532.
6. Prechelt, L. Investigation of the Cascor family of learning algorithms / Prechelt L. // Neural Networks. - 1997. - vol. 10. -P. 885-896.
7. SchaHoff R. J. Artificial Neural Networks / Schalkoff R. J. -N. Y. : The McGraw-Hill Comp., 1997. - 528 p.
8. Avedjan, E. D. Cascade neural networks / E. D. Avedjan, G. V. ВаЛа^ I. К. Lеvin // Avtomatika i telemekhanika. -1999. - No. 3. - P. 38-55.
9. Bodyanshiy, Ye. The cascaded orthogonal neural network / Ye. Bodyanskiy, A. Dolotov, I. Pliss, Ye. Viktorov ; Eds. by K. Markov, K. Ivanova, I. Mitov // Information Science & Computing. - Sofia, Bulgaria : FOI ITHEA. - 2008. - Vol. 2. -P. 13-20.
10. Bodyanskiy, Ye. The cascaded neo-fuzzy architecture and its on-line learning algorithm / Ye. Bodyanskiy, Ye. Viktorov ; Eds. by K. Markov, P. Stanchev, K. Ivanova, I. Mitov // Intelligent Processing. - 9. - Sofia : FOI ITHEA, 2009. -P. 110-116.
11. Bodyanskiy, Ye. The cascaded neo-fuzzy architecture using cubic-spline activation functions / Ye. Bodyanskiy, Ye. Viktorov // Int. J. «Information Theories & Applications». -2009. - vol. 16, No. 3. - P. 245-259.
12. Bodyanskiy, Ye. The cascade growing neural network using quadratic neurons and its learning algorithms for on-line information processing / Ye. Bodyanskiy, Ye.Viktorov, I. Pliss ; Eds. by G. Setlak, K. Markov // Intelligent Information and Engineering Systems. - 13. - Rzeszov-Sofia : FOI ITHEA, 2009. - P. 27-34.
13. Kolodyazhniy, V. Cascaded multi-resolution spline-based fuzzy neural / V. Kolodyazhniy, Ye. Bodyanskiy ; Eds. by P. Angelov, D. Filev, N. Kasabov // Proc. Int. Symp. on Evolving Intelligent Systems. - Leicester, UK : De Montfort University, 2010. - P. 26-29.
14. Bodyanskiy, Ye. Cascaded GMDH-wavelet-neuro-fuzzy network / Ye. Bodyanskiy, O. Vynokurova, N. Teslenko // Proc 4th Int. Workshop on Inductive Modelling «IWIM 2011». -Kyiv, 2011. - P. 22-30.
15. Bodyanskiy, Ye. Hybrid cascaded neural network based on wavelet-neuron / Ye. Bodyanskiy, O. Kharchenko, O. Vynokurova // Int. J. Information Theories & Applications. -2011. - vol. 18, No. 4. - P. 335-343.
16. Bodyanskiy, Ye. Evolving cascaded neural network based on multidimensional Epanechnikov's kernels and its learning algorithm / Ye. Bodyanskiy, P. Grimm, N. Teslenko // Int. J. Information Technologies & Knowledge. - 2011. - vol. 5, No. 1. - P. 25-30.
17. Kruschke, J. K. Benefits of gain: speed learning and minimum layers backpropagation networks / J. K. Kruschke, J. R. Movellan // IEEE Trans. on Syst., Man. And Cybern. -1991. - vol. 21. - P. 273-280.
18. Chan, L. W. An adaptive learning algorithm for backpropagation networks / L. W. Chan, F. Fallside // Computer Speech and Language. - 1987. - vol. 2. - P. 205218.
19. Silva, F. M. Speeding up backpropagation / F. M. Silva, L. B. Almeida ; Ed. by R. Eckmiller // Advances of Neural Computers. - North-Holland : Elsevier Science Publishers. -B. V., 1990. - P. 151-158.
20. Veitch, A. C. A modified quickprop algorithm / A. C. Veitch, G. Holmes // Neural Computation. - 1991. - vol. 3. - P. 310311.
21. Bodyanskiy, Ye. An adaptive learning algorithm for a neuro-fuzzy network / Ye. Bodyanskiy, V. Kolodyazhniy, A. Stephan ; Ed. by B. Reusch // Computational Intelligence: Theory and Applications. - Berlin-Heidelberg-New-York: Springer, 2001. - P. 68-75.
22. Otto, P. A new learning algorithm for a forecasting neuro-fuzzy network / P. Otto, Ye. Bodyanskiy, V. Kolodyazhniy // Integrated Computer-Aided Engineering. - 2003. - vol. 10, No. 4. - P. 399-409.
23. Kaczmarz, S. Angenaeherte Ausloesung von Systemen linearer Gleichungen / Kaczmarz S. // Bull. Int. Acad. Polon. Sci. - 1937. - Let. A. - P. 355-357.
24. Kaczmarz, S. Approximate solution of systems of linear equations / Kaczmarz S. // Int. J. Control. - 1993. - vol. 53. -P. 1269-1271.
Proc. Latvian Sign. Proc. Int. Conf. - Riga, 1990. - V. 2. -P. 80-83.
Bodyanskiy, Ye. Algorithm for adaptive identification of dynamical parametrically nonstationary objects / Ye. Bodyanskiy, S. Vorobyov, A. Stephan // J. Computer and Systems Sci. Int. - 1999. - vol. 38, No. 1. - P. 14-38. Bodyanskiy, Ye. Recurrent neural network detecting changes in the properties of nonlinear stochastic sequences / Ye. Bodyanskiy, S. Vorobyov // Automation and Remote Control. - 2000. - vol. 61, No. 7. - Part 1. - P. 1113-1124. Vorobyov, S. An adaptive noise cancellation for multisensory signals / S. Vorobyov, A. Cichocki, Ye. Bodyanskiy // Fluctuation and Noise Letters. - 2001. - vol. 1, No. 1. -P. 13-24.
Стаття надшшла до редакци 21.02.2014.
Тищенко А. К.1, Плисс И. П.2, Копалиани Д. С.3
'Канд. техн. наук, старший научный сотрудник Проблемной НИЛ АСУ Харьковского национального университета радиоэлектроники, Украина
2Канд. техн. наук, старший научный сотрудник, ведущий научный сотрудник Проблемной НИЛ АСУ Харьковского национального университета радиоэлектроники, Украина
3Аспирантка, Харьковский национальный университет радиоэлектроники, Украина
ГИБРИДНАЯ КАСКАДНАЯ ОПТИМИЗИРОВАННАЯ НЕЙРОННАЯ СЕТЬ
Предложена новая архитектура и алгоритмы ее обучения для гибридной каскадной нейронной сети с оптимизацией пула нейронов в каждом каскаде. Предложенная гибридная каскадная нейронная сеть обеспечивает вычислительную простоту и характеризуется следящими и фильтрующими свойствами.
Ключевые слова: нейронная сеть, оптимальное обучение, вычислительный интеллект, эволюционирующая гибридная система.
Tyshchenko O. K.1, Pliss I. P.2, Kopaliani D. S.3
'Ph.D, Senior Researcher at Control Systems Research Laboratory, Kharkiv National University of Radio Electronics, Ukraine
2Ph.D, Leading Researcher, Control Systems Research Laboratory, Kharkiv National University of Radio Electronics, Ukraine
3Post-graduate student, Kharkiv National University of Radio Electronics, Ukraine
A HYBRID CASCADE OPTIMIZED NEURAL NETWORK
A new architecture and learning algorithms for a hybrid cascade optimized neural network is proposed. The proposed hybrid system is different from existing cascade systems in its capability to operate in an online mode, which allows it to work with both non-stationary and stochastic nonlinear chaotic signals with the required accuracy. The proposed hybrid cascade neural network provides computational simplicity and possesses both tracking and filtering capabilities.
Keywords: neural network, optimal learning, computational intelligence, evolving hybrid system.
Avedjan E. D., Bаrkаn G. V., Lеvin I. К. Cascade neural networks, AvtomatHa i telemekhanika, 1999, No. 3, pp. 38-55. Bodyanskiy Ye., Dolotov A., Pliss I., Viktorov Ye. The cascaded orthogonal neural network, Eds. by K. Markov, K. Ivanova, I. Mitov, Information Science & Computing, Sofia, Bulgaria, FOI ITHEA, 2008, Vol. 2, pp. 13-20. Bodyanskiy Ye., Viktorov Ye. The cascaded neo-fuzzy architecture and its on-line learning algorithm, Eds. by K. Markov, P. Stanchev, K. Ivanova, I. Mitov, Intelligent Processing, 9, Sofia, FOI ITHEA, 2009, pp. 110-116. Bodyanskiy Ye., Viktorov Ye. The cascaded neo-fuzzy architecture using cubic-spline activation functions, Int. J. «Information Theories & Applications», 2009, vol. 16, No. 3, pp. 245-259.
Bodyanskiy Ye., Viktorov Ye., Pliss I. The cascade growing neural network using quadratic neurons and its learning algorithms for on-line information processing, Eds. by G. Setlak, K. Markov, Intelligent Information and Engineering Systems, 13, Rzeszov-Sofia, FOI ITHEA, 2009, pp. 27-34.
25. Widrow, B. / Adaptive switching circuits / Widrow B., Hoff Jr. M. E. // 1960 URE WESCON Convention Record. -
N. Y. : IRE, 1960. - Part 4. - P. 96-104. 29.
26. EodnncKuu, E. AganTHBHo nporao3HpaHe Ha нecтaцнoнaр-hh npo^CH / E. EogflHCMH, H. Hnucc, H. Mag^apoB // ABTOMaTHKa h H3HHcnHTenbHa TexHHKa. - 1983. - № 6. -
C. 5-12. 30.
27. EodxncKuu, E. B. AganTHBHoe o6o6^eHHoe nporao3HpoBa-HHe MHoroMepHMX cnynaHHbix nocnegoBaTenbHocTeM / E. B. EogrncKHH, H. n. Hnucc, T. B. ConoBbeBa // .flpra.
AH yCCP. - 1989. - Cep.A. - №m9. - C. 73-75. 31.
28. Bodyanskiy, Ye. Adaptive generalized forecasting of multivariate stochastic signals / Ye. Bodyanskiy, I. Pliss //
10.
REFERENCES
1. Cichocki A., Unbehauen R. Neural Networks for Optimization and Signal Processing. Stuttgart, Teubner, 1993, 526 p.
2. Haykin S. Neural Networks. A Comprehensive Foundation, Upper Saddle River, Prentice Hall, 1999, 842 p.
3. Kasabov N. Evolving Connectionist Systems. London, Springer-Verlag, 2003, 307 p.
4. Lughofer E. Evolving Fuzzy Systems - Methodologies, Advanced Concepts and Applications. Berlin-Heidelberg, Springer-Verlag, 2011, 454 p. 11
5. Fahlman S. E., Lebiere C. The cascade-correlation learning architecture. Advances in Neural Information Processing Systems, Ed. by D. S. Touretzky, San Mateo, CA, Morgan Kaufman, 1990, pp. 524-532. 12
6. Prechelt L. Investigation of the Cascor family of learning algorithms, Neural Networks, 1997, vol. 10, pp. 885-896.
7. Schalkoff R. J. Artificial Neural Networks. N.Y, The McGraw-Hill Comp., 1997, 528 p.
HEËPOIHOOPMATHKA TA IHTE.nEKTyA.nLm CHCTEMH
13. Kolodyazhniy V., Bodyanskiy Ye. Cascaded multi-resolution spline-based fuzzy neural network, Eds. by P. Angelov, D. Filev, N. Kasabov, Proc. Int. Symp. on Evolving Intelligent Systems, Leicester, UK, De Montfort University, 2010, pp. 26-29.
14. Bodyanskiy Ye., Vynokurova O., Teslenko N. Cascaded GMDH-wavelet-neuro-fuzzy network, Proc 4th Int. Workshop on Inductive Modelling «IWIM 2011». Kyiv, 2011, pp. 22-30.
15. Bodyanskiy Ye., Kharchenko O., Vynokurova O. Hybrid cascaded neural network based on wavelet-neuron, Int. J. Information Theories & Applications. 2011, 18, No. 4, pp. 335-343.
16. Bodyanskiy Ye., Grimm P., Teslenko N. Evolving cascaded neural network based on multidimensional Epanechnikov's kernels and its learning algorithm, Int. J. Information Technologies & Knowledge, 2011, vol. 5, No. 1, pp. 25-30.
17. Kruschke J. K., Movellan J. R. Benefits of gain: speed learning and minimum layers backpropagation networks, IEEE Trans. on Syst., Man. And Cybern, 1991, 21, pp. 273-280.
18. Chan L. W., Fallside F. An adaptive learning algorithm for backpropagation networks, Computer Speech and Language, 1987, 2, pp. 205-218.
19. Silva F. M., Almeida L. B. Speeding up backpropagation, Ed. by R. Eckmiller, Advances of Neural Computers. North-Holland, Elsevier Science Publishers, B.V., 1990, pp. 151-158.
20. Veitch A. C., Holmes G. A modified quickprop algorithm, Neural Computation, 1991, 3, pp. 310-311.
21. Bodyanskiy Ye., Kolodyazhniy V., Stephan A. An adaptive learning algorithm for a neuro-fuzzy network, Ed. by B. Reusch, Computational Intelligence: Theory and Applications, Berlin-Heidelberg-New-York, Springer, 2001, pp. 68-75.
22. Otto P., Bodyanskiy Ye., Kolodyazhniy V Anew learning algorithm for a forecasting neuro-fuzzy network, Integrated Computer-Aided Engineering, 2003, vol. 10, No. 4, pp. 399-409.
23. Kaczmarz S. Angenaeherte Ausloesung von Systemen linearer Gleichungen, Bull. Int. Acad. Polon. Sci, 1937, Let. A, pp. 355-357.
24. Kaczmarz S. Approximate solution of systems of linear equations, Int. J. Control, 1993, vol. 53, pp. 1269-1271.
25. Widrow B., Hoff Jr. M. E. Adaptive switching circuits, 1960 URE WESCON Convention Record, N.Y, IRE, 1960, Part 4, pp. 96-104.
26. Bodyanskiy Ye., Pliss I., Madjarov N. Adaptive forecasting of nonstationary processes, Avtomatika I Izchislitelna Tekhnika, 1983, No. 6, pp. 5-12.
27. Bodyanskiy Ye., Pliss I. P., Solovyova T. V. Adaptive generalized forecasting of multidimensional stochastic sequences, Doklady AN USSR, 1989, A, No. 9, pp. 73-75.
28. Bodyanskiy Ye., Pliss I. Adaptive generalized forecasting of multivariate stochastic signals, Proc. Latvian Sign. Proc. Int. Conf. Riga, 1990, V. 2, pp. 80-83.
29. Bodyanskiy Ye., Vorobyov S., Stephan A. Algorithm for adaptive identification of dynamical parametrically nonstationary objects, J. Computer and Systems Sci. Int, 1999, vol. 38, No. 1, pp. 14-38.
30. Bodyanskiy Ye., Vorobyov S. Recurrent neural network detecting changes in the properties of nonlinear stochastic sequences, Automation and Remote Control, 2000, vol. 61, No. 7, Part 1, pp. 1113-1124.
31. Vorobyov S., Cichocki A., Bodyanskiy Ye. An adaptive noise cancellation for multisensory signals, Fluctuation and Noise Letters, 2001, 1, No. 1, pp. 13-24.
