CC BY
42
НЕЙРОІНФОРМАТИКА ТА ІНТЕЛЕКТУАЛЬНІ СИСТЕМИ
НЕЙРОИНФОРМАТИКА И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
NEUROINFORMATICS __________________AND INTELLIGENT SYSTEMS_______________________________
УДК 519.7:004.8 Дейнеко А. О.1, Плісс І. П.2, Бодянський Є. В.3
Аспірантка Харківського національного університету радіоелектроніки 2Канд. техн. наук, провідний науковий співробітник Харківського національного університету радіоелектроніки 3Д-р техн. наук, професор Харківського національного університету радіоелектроніки
КОМБІНОВАНЕ НАВЧАННЯ ЕВОЛЮЦІЙНОЇ НЕЙРО-ФАЗЗІ СИСТЕМИ
Запропоновано архітектуру еволюційної нейро-фаззі системи, що не схильна до прокльону розмірності, здатна обробляти інформацію в режимі реального часу, адаптуючи при цьому свої параметри і структуру до умов задачі. У якості активаційних функцій було використано ядерні функції.
Ключові слова: еволюційна нейро-фаззі система, нормалізована радіально-базисна нейронна мережа, узагальнена регресійна нейро-фаззі мережа, нечітка машина опорних векторів, ядерна функція активації.
ВСТУП
В цей час штучні нейронні мережі отримали широке поширення для вирішення різноманітних задач Data Mining, інтелектуального управління, прогнозування, розпізнавання образів тощо, в умовах невизначеності, нелінійності, стохастичності, хаотичності, різного роду збурень і завад, завдяки своїм універсальним апрокси-муючим властивостям і можливостями навчання за даними, що характеризують функціонування явища або об’єкта, що досліджуються.
Процес навчання, як правило, ґрунтується на використанні тієї або іншої процедури оптимізації прийнятого критерію, при цьому швидкість збіжності такої процедури може бути досить низькою, особливо при навчанні багатошарових мереж, що створює істотні проблеми в ситуаціях, коли навчальна вибірка задана не пакетом, а у вигляді послідовності спостережень, що надходять у online режимі.
Прискорити цей процес можливо в нейронних мережах, чий вихідний сигнал лінійно залежить від синаптич-них ваг, наприклад, радіально-базисних (RBFN) [1, 2] і нормалізованих радіально-базисних (NRBFN) [3, 4] ней-ронних мереж, однак, їх використання часто ускладнюється, так званим, прокльоном розмірності. І справа тут зовсім не у виникаючих обчислювальних складно-
щах, а в тому, що наявних даних просто може не вистачити для визначення великої кількості синаптичних ваг.
Альтернативою навчанню, яке базується на оптимізації, є навчання, що базується на пам’яті [3] і пов’язане з концепцією «нейрони в точках даних» [5]. Найбільш характерним представником систем, навчання яких засновано на цьому принципі, є узагальнені регресійні нейронні мережі [6], проте, по-перше, вони вирішують задачу інтерполяції, а не апроксимації, а, по-друге, кількість нейронів в цих мережах визначається числом спостережень у навчальній вибірці.
Є доцільною розробка системи, яка в процесі настроювання використовувала б обидва принципи навчання, налаштовуючи при цьому не тільки синаптичні ваги, але і свою архітектуру, еволюціонуючи у часі і пристосовуючись до розв’язуваної задачі [7]. Спроба синтезу такої мережі була зроблена в [8, 9], де запропонована система складалася з кількох паралельно працюючих нейронних мереж з однаковою архітектурою, але навчених на основі різних принципів, і блоку оптимізації, що об’єднує виходи цих мереж та синтезує оптимальний вихідний сигнал системи в цілому.
У порівнянні з нейронними мережами більші можливості мають нейро-фаззі системи [2, 10-12], що поєднують в собі можливості до навчання, апроксімаціі та
© Дейнеко А. О., Плісс І. П., Бодянський Є. В., 2012
лінгвістичної інтерпретації отриманих результатів. Найбільшого поширення серед цих систем отримала ЛОТК [10], вихідний шар якої може бути налаштований за допомогою традиційних процедур ідентифікації. Загалом же абсолютна більшість нейро-фаззі систем навчається на основі тих чи інших процедур оптимізації.
У зв’язку з цим, доцільним є поширення підходу, що використаний у [8, 9], на навчання нейро-фаззі систем.
1. АРХІТЕКТУРА НЕЙРО-ФАЗЗІ СИСТЕМИ ТА ЇЇ НАВЧАННЯНА ОСНОВІ ОПТИМІЗАЦГЇ
Архітектура еволюційної нейро-фаззі системи, що розглядається, наведена, на рис. 1 і складається з п’ятьох послідовно з’єднаних шарів. На вхідний (нульовий) шар подається (п х 1) - вимірний вектор вхідних сигналів
х( к) = (х1( к), х2( к),..., хп (к ))т, к = 1,2,..., N, що підлягає обробці. Перший прихований шар містить пк функцій належності |(х), і = 1,2,...,п;І = 1,2,...,к і виконує фаз-зіфікацію вхідних змінних, при цьому значення к може змінюватися в процесі навчання (еволюції) системи. Другий прихований шар здійснює агрегування рівнів належностей, обчислених у першому шарі, і складається з к блоків множення. Третій прихований шар - це шар синаптичних ваг, що підлягають визначенню в процесі навчання системи. Четвертий шар утворено двома суматорами й обчислює суми вихідних сигналів другого й третього шарів. І, нарешті, у п’ятому (вихідному) шарі проводиться нормалізація, в результаті якої обчислюєть -
ся вихідний сигнал системи у .
Таким чином, якщо на вхід системи поданий векторний сигнал х, елементи першого шару обчислюють рівні належності 0 < |/і < 1, при цьому в якості функцій належності використовуються дзвонуваті конструкції з не строго локальним рецепторним полем, що дозволяє уникнути виникнення «дір» у фаззіфікованому просторі [4]. Найчастіше це ґавсіани
Vu(x)=exP
2
( x¡ - Cli)
2а2
Рис. 1. Еволюційна нейро-фаззі система
(тутс/ = (Сд, Сі2,..., Сіп )Т), тобто блоки системи обведені пунктиром, фактично обробляють інформацію як радіально-базисні нейрони (^-нейрони) нейронних мереж. Виходами третього прихованого шару є значення
№ П
^ (х) (тут і = 12 к - синаптичні ваги),
і=1 1 ’ ’ ’ ’
к ш П к п
четвертого - X ^і П ^іі(х) і X П ^іі(х) й, нарешті,
і=1 і=1 і=і і=1
на виході системи в цілому з’являється сигнал
де Сц - параметр центру, аі - параметр ширини, що обирається емпірично або настроюється в процесі навчання за допомогою процедури зворотного поширення помилок. Помітимо також, що попереднє нормування даних на обмежений інтервал, наприклад, -1 < хі < 1, у ряді випадків спрощує обчислення, оскільки параметр ширини <5і може бути прийнятий однаковим для всіх ком -понентів вхідного вектора-образа.
На виходах другого прихованого шару обчислюють-
п
ся аґреґовані значення Пиіі(х), при цьому для ґавсі-
і=1
анів з однаковими параметрами ширини а
П»!( x) = П exP
i=1 i=1
f / \2 > (xi - cli1 f II ||21
= ехр llx - Cl\\
2а2 , 2а 2
TwNF П vu (x)
уNF (x) = l=1 i=1
h Ші ( x)
------= S w/V^-!=1-=
h n ^ 1 h n
ІШі ( x) l=1 ІП^іі ( x)
l=1 i=1 l=1 i=1 (l)
hT
NF NF NF T NF
= Swi фі (x) = (w ) ф (x),
l=1
де
NF ф l
(x) = Пйіі(x)I ІПйіі(x) I ,wNF = (,wNF,...,wNF),
i=1 V l=1 i=1 J
NF NF NF NF T
ф (x) = (ф1 (x),ф2 (x),...,фн (x)) .
Нескладно бачити, що розглянута система реалізує нелінійне відображення входів у вихідний сигнал подібно нормалізованій радіально-базисній мережі (ККБРМ), а по архітектурі збігається із системами Такаїі-Суґено-Ка-нґа нульового порядку [10, 13], Ванґа-Менделя [1, 11, 14] і структурою Ларсена [2].
Навчання синаптичних ваг цих систем (надалі будемо
Т?
позначати їх ^ ) здійснюється шляхом оптимізації (мінімізації) критерію навчання
ЕТ? = -2 X ( - ()Т (Х(к )))2 (2)
■k=1
що веде до стандартної оцінки найменших квадратів
wTS (N) = | ¿фNF (x(k))(фNF (x(k)))T
E ф (x(k))y(k) I, (3)
k=1
де у(к) - зовнішній навчальний сигнал.
Вводячи у розгляд (к х N )-матрицю значень функцій
Ф NF = (ф NF ( x (І)),
, фNF (x (k)),
, фNF (x(N)))
і ( N x 1)-вектори Y = (y (1),..., y (k ),..., y (N ))T, YTS =
= (yTS (1),...,yTS (k),...,yTS (N) ти співвідношення (1)-(3) у вигляді
yTS (N))T, можна переписа-
YTS = (ФNF )T wTS ;
ETS =1
Y _ (фNF )T wTS
(4)
P(k +1) = P(k ) _
P(k )фШ ( x(k + 1))(фNF ( x(k + 1)))T P(k )
1 + (фNF (x(k + 1)))T P(k)ф№ (x(k +1)) ,
причому для ридж-оцінки (5) у якості початкових умов приймається
P(0) = S_1Ih,h.
2. УЗАГАЛЬНЕНА РЕГРЕСІЙНА НЕЙРО-ФАЗЗІ СИСТЕМА
Як відзначалося вище, альтернативою навчанню, заснованому на оптимізації, є навчання, яке базується на пам’яті, що лежить в основі узагальненої регресійної нейронної мережі (GRNN). В [15-17] була запропонована узагальнена регресійна нейро-фаззі мережа (GRNFN), що є поширенням мережі Шпехта на нейро-фаззі архітектуру, наведену на рис. 1, та яка має низку переваг у порівнянні зі своїм нейромережевим прототипом.
Синтез, навчання й еволюція GRNFN відбуваються в такий спосіб. Вектори навчальної вибірки x(1),..., x(k),..., x(h), h < N, попередньо нормуються так, що _1 < xi < 1, i = 1,2,...,n, після чого для кожного з x(k) у першому прихованому шарі формується власний набір функцій належності ц^іМ, Ц k 2(x),.., H-kn (x) так, що їх центри співпадають з x, (k ), тобто
Vki( x) = exP
f (x, _ xt (k))2 ^ 2ct2
(N) = |^Ф№ ) ) ФШУ .
Якість апроксимації, що забезпечується розв’язком задачі оптимізації, у ряді випадків можна підвищити, використовуючи замість критерію навчання (4), його регу-ляризовану модифікацію
ElS =-
Y _ (фNF )TwlS
2 S TS
+ — 2 wl
що веде до ридж-оцінок синаптичних ваг
wRS(N) = (Ф№(Ф№)T +SIh h)_1 ФNFY,
(5)
де S> 0 - параметр регуляризації, - (h х h) - оди-
нична матриця.
Якщо дані надходять на обробку послідовно в on-line режимі, для отримання оцінок (3)-(5) може бути використаний рекурентний метод найменших квадратів:
w,TS (k + П - WTS (k) + P(k)(y(k +1 - (wTS (k))T (pNF (x(k +!))),
W (k + 1) W (k) + NF T NF X
1 + (,NF (x(k + 1)))T P(k),NF (x(k +1))
ХфNF ( x(k +1));
Одночасно з формуванням функцій належності першого прихованого шару в третьому шарі відбувається
установка синаптических ваг (індексом вБ позначе-
но параметри й сигнали вКОТ^І), які покладаються рівними навчальним сигналам у(к). Таким чином, при подачі на вхід довільного сигналу х, в першому прихованому шарі обчислюються рівні належності (хі),
і = 1,2,...,п; к = 1,2,...,к; у другому шарі відбувається їхнє агрегування шляхом формування багатовимірних функцій
h< N
yGF (x(k)) = П Цk (xi X k=1
у третьому шарі обчислюються добутки у(к )(р°Е (х(к)), шар обчислює значення сигналів
четвертий hh ¿ y(k)ф F (x(k)) і ¿ф№ (x(k)) : k=1 k=1
му шарі формується оцінка вихідного сигналу
й, нарешті, у вихідно-
h
E y(k )фGF ( x(k ))
yGF ( x) = k=1
h
E ф' k=1
GF
( x(k ))
Eu
wk
k=1
Ylvki( x)
GF i-1
hn
E П Vki( xi) k=1 i=1
n
SS
= íwf Ф^ ( x(k )) = ( wGF )T ФGF ( X) к=1 .
Процес навчання GRNFN може протікати як у пакетному режимі, коли задані навчальна вибірка {x(k), у(к)} й максимальне число функцій належності для кожного входу h, так і в on-line режимі, коли пари x(k), y(k) надходять на обробку послідовно, формуючи багатовимірні
функції фк . При цьому досить просто організувати процес виключення спостережень, що містять не суттєву інформацію. Якщо для якогось x(k) виконується нерівність
max D;min ( x; (к )) < r <
2
h -1
(6)
Фаззі-аналогом 8УМ є нечітка машина опорних векторів (Р8УМ) [22], у якій багатовимірні активаційні функції замінені одновимірними функціями належності. В [23] була розглянута Б8УМ, заснована на методі найменших квадратів (Ь8-Р8УМ) і призначена для розв’язання задачі розпізнавання образів, що коли в процесі навчання сигнали у (к) можуть приймати значення +1 або -1.
У межах досліджуваної нами задачі перетворення, що реалізується Ь8-Р8УМ (далі використовується позначення Б8), може бути записане у вигляді
N П^кі ( Xj ) n
yFS (x) = I wFS Nh-= I wFSФFS (x(k)) =
k=1 in^ki (Xi ) k=1
к=1i=1
(тут D™m ( Xj (к )) - найменша відстань між x¿ (k )і раніше сформованими центрами функцій належності), то x(k )не
GF
формує нову ф ( x(k )) й виключається з розгляду. Помітимо, що в нейро-фаззі системі з одновимірними функціями, граничний параметр r і відстань D™in (xt (k)) визначити значно простіше ніж в GRNN з багатовимірними функціями активації, де загальна рекомендація до вибору r визначається малим перекриттям сусідніх багатовимірних ґавсіанів [18].
Роботу GRNFN нескладно організувати в режимі безперервного еволюціонування, що важливо при обробці суттєво нестаціонарних сигналів. Тут можливе використання двох підходів: на ковзному вікні з h спостережень, коли при надходжені на вхід системи навчальної пари x(h +1), y (h +1)
GF
у першому й третьому шарах виключаються всі й W1 ,
w GF • ^
а замість них установлюються M-h+u й wh+1, і заснований на нерівності (6). У цьому випадку нова пара замінює найближчу до неї пару « старих» даних.
Оскільки процес навчання відбувається практично миттєво, еволюція нейро-фаззі системи також відбувається дуже швидко.
3. НЕЧІТКА МАШИНА ОПОРНИХ ВЕКТОРІВ
Своєрідним гібридом систем, які базуються як на оптимізації, так і на пам’яті одночасно, є машини опорних векторів (SVM), які є нейронними мережами, що збігаються по архітектурі з RBFN і GRNN, їх синаптичні ваги визначаються в результаті розв’язання задачі опти-мізації, а центри активаційних функцій установлюються за принципом «нейрони в точках даних». І хоча ці мережі мають цілу низку безсумнівних переваг [19, 20], їхнє навчання з обчислювальної точки зору є досить трудомістким, оскільки пов’язане з розв’язанням задачі нелінійного програмування високої розмірності.
У зв’язку із цим, у якості альтернативи SVM були запропоновані машини опорних векторів, засновані на методі найменших квадратів (LS-SVM) [21], навчання яких зводиться до розв’язання системи лінійних рівнянь.
= ( wFS )T ФFS ( X),
(7)
а її навчання зводиться до установки центрів функцій належності цкі ( хі ) в точках хі (к) і оптимізації квадратичного критерія навчання
FS
w
2 ,, N
+|le2(k )
2 к=1
(8)
з урахуванням обмежень у вигляді системи з N лінійних рівнянь
У(к) = (wFS )Т (х(к)) + е(к) (9)
де у > 0 - параметр регуляризації,
е(к) = у(к) - у™ (х(к)).
Оптимізація критерію (8) без урахування обмежень (9) веде до виразу
wFS ( N ) =
( N
ІФFS ( x(k ))(фга ( x(k )))T +Y-1 In , N
Y
1
к=1
( N
ІФ ( x(k )) y(k )
V к=1
що є по суті ридж-оцінкою при 5 = у-1.
Для урахування системи обмежень (9) введемо в розгляд функцію Лаґранжа
N
L(w , e(k), X(k)) = E + I X(k)(y(k) — (w ) ф (x(k)) — e(k)) =
k=1
= wFS )T wFS + e2(k ) + I (y (k ) — ( wFS )T фга ( x( k )) — e(k ) )
- k=l
k=1
(тут X (к) - N невизначених множників Лаґранжа) і систему рівнянь Каруша-Куна-Таккера:
N
V= wFS - X X(к)ф^ (X(к)) = 0N, к=1 = уе( к)-X (к) = 0,
де(к )
= у (к) - (wFS )Т ф ™ (х (к)) - е( к) = 0,
дх ( к )
де 0N - (N х 1) - вектор, утворений нулями.
З (10) випливає
(10)
N
wtS (N) =ХХ (к )ф ^ (х( к)),
к=1
X (к) = уе( к), у (к) = (wFS )Т ф м (х( к)) + е( к ),
(11)
або в матричному вигляді
(ї 1 (, N +^)
^(1)л ' у (1) '
X (2) = у (2)
^ ( N ) , V у ( N ) ,
або
(у 1 (,N +^) = У ,
(тут □ = { = (ф{ (х(і)))Т ф(X(і))} ),
звідки
х = (у-Ч, N +П)-1У.
(12)
Остаточно (7) з урахуванням (11) і (12) набуває вигляд
г N ^
XX (к )ф ^ (х (к))
V к=1
4. ОПТИМАЛЬНИИ АНСАМБЛЬ НЕИРО-ФАЗЗІ СИСТЕМ
При розв’язанні конкретної задачі не можна встановити заздалегідь яка з окремих синтезованих систем (Т8, вКОТК, Б8УМ або яка-небудь ще) покаже найкращі результати. Більше того, при обробці нестаціонарних сигналів на різних часових інтервалах, найкращими можуть виявитися різні системи. У цій ситуації доцільно скористатися ансамблем одночасно працюючих систем [2427] з наступним об’єднанням їх вихідних сигналів з метою одержання оптимального результату так, як це показане на рис. 2.
Рис. 2. Ансамбль нейро-фаззі систем
Вводячи в розгляд вектори вихідних сигналів
т
~єднан-
у(к) = (уТ (к), у°р (к), у^ (к)) і параметрів об’
F І F F F \Т ня w =1 wтs, WQF, WFS ) , будемо шукати оптимальний
вихідний сигнал у вигляді
у F (к) = ( wF )ТЯ к )
при обмеженнях на незміщенність
ITwF = 1,
де ¡3 - (3 х 1) - вектор, утворений одиницями.
Невідомий вектор параметрів wF може бути визначений за допомогою методу штрафних функцій, для чого вводиться (Nх3) матриця вихідних сигналів
У = (з>(1), у(2),..., у( N) )Т і критерій оптимізації
Кр = (у - YwF )Т (у - YwF ) + р-2 (і - ¡TwF ), (13)
де р - штрафний коефіцієнт.
Мінімізація (13) по wF веде до виразу
wF (р) = (УТУ + р-21313Т )-1 (УТУ + р-213 ) ,
яке після нескладних перетворень [28] і прирівнювання р до нуля, набуває вигляд
І _ тТ,.,^ ,
(N)= Ііт wF (р) = wЬS (N) + РF Ш)- „ г 1 ’ Р^0 У ’ У ’ ITPF (N)І3
, (14)
де
^ (N) = (УТУ) * УТУ = РF (N)УТУ (15)
W
- звичайна оцінка найменших квадратів типу (4).
Елементам вектора wF (N) (14) можна надати зміст належностей кожної з підсистем ансамблю Т8, вКОТК і Б8УМ до деякої гіпотетичної оптимальної системи, якщо забезпечити їх невід’ємність у процесі об’єднання.
Вводячи у розгляд лаґранжіан
Ь (цF, XF, РF ) = (У - иF )Т (у - иF )F (IзT УF - 1)-(рF )Т цF,
(тут ц^ - (3 х 1) - вектор рівнів належності, XF - невиз-
начений множник Лагранжа, р17 - (3 х 1) - вектор невід’ємних множників Лаґранжа, що відповідають умовам додаткової нежорсткості), і систему рівнянь
V F L = 0з, ц 3
dL
SX'
F
= 0,
розв язок якої має вигляд
= PF (N)(7T7 + 0,5XFI3 + 0,
5pF ),
F
F = I3 PF (N)7TY -1 + 0,5I3T PF (N)p = 0,5I3TPF (N)I3
і використовуючи процедуру Ерроу-Гурвіца-Удзави [29],
F
одержуємо алгоритм навчання вектора ц у вигляді
ЦF (k +1) = wLS (k +1)-PF (k +1)x
x ( wLS (k +1) -1 + 0,5I3TPF (k +1) pF (k) ( PF (k +1) I3 ) 113 + 0,5PF (k +1) pF (k),
pF (k+1) = Pr+ (pf (k )- np (k+1) ЦF (k+1)),
(16)
де w
LS
- визначається виразом (15), Pr+ ( ) - проектор
на додатнии ортант.
Нескладно показати, що алгоритм (16) елементарно поширюється на довільну кількість систем, що входять в ансамбль.
ВИСНОВКИ
Введено систему еволюціИних нейро-фаззі систем, що використовують різні принципи навчання та налаштовують не тільки синаптичні ваги, але И свою архітектуру Запропоновано адаптивну процедуру об’єднання цих систем, що дозволяє синтезувати оптимальний вихідний сигнал і встановлювати рівні належності до деякої гіпотетичної оптимальної системи. Підхід, що розвивається, відрізняється обчислювальною простотою И дозволяє обробляти інформацію в on-line режимі в міру її надходження.
СПИСОК ЛІТЕРАТУРИ
1. Осовский, С. Нейронные сети для обработки информации / С. Осовский. - М. : Финансы и статистика, 2002. - 344 с.
2. Rutkowski, L. Computational Intelligence. Methods and Tehniques / L. Rutkwski. - Berlin-Heidelberg : Springer-Verlag, 2008. - 514 р.
3. Nelles, O. Nonlinear System Identification / O. Nelles. - Berlin : Springer, 2001. - 785 р.
4. Friedman, J. The Elements of Statistical Learning. Data Mining, Inference and Prediction / J. Friedman, T. Hastie, R. Tibshirani. - Berlin : Springer, 2003.-552 p.
5. Pattern recognition using radial basis function network /
D. Zahirniak, R. Chapman, S. Rogers [and other] // Dayton, OH : Application of AI Conf. - 1990. - P. 249-260.
6. Specht, D. F A general regression neural network / D. F. Specht // IEEE Trans. on Neural Networks. - 1991. - Vol. 2. -P. 568-576.
7. Kasabov, N. Evolving Connectionist Systems / N. Kasabov. -London : Springer - Verlag, 2003. - 307 р.
8. Bodyanskiy, Ye. Hibrid evolving neural netvork using kernel activation functions / Ye. Bodyanskiy, N. Teslenko, P. Grimm // Conf. Proc. 17th Zittau East-West Fuzzy Coll. - Zittau Goerlitz : HS. - 2010. - P. 39-46.
9. Бодянський, Є. В. Еволюційна нейронна мережа з ядерними функціями активації та адаптивний алгоритм її навчання / Є. В. Бодянський, А. О. Дейнеко, Н. О. Тесленко. - Наукові праці - Вип. 130. - Т. 143. - Комп’ютерні технології. - Миколаїв : Вид-во ЧДУ ім. Петра Могили, 2010. - С. 71-78.
10. Jang, J.-S. Neuro-Fuzzy and Soft Computing : A Computational Approach to Learning and Maching Intelligence / J.-S. Jang, C.-T. Sun, E. Mizutani // Upper Saddle River : Prentice Hall. - 1997. - 640 p.
11. Wang, L.-X. Fuzzy basis functions, universal approximation and orthogonal least squares learning / L.-X. Wang, J. M. Mendel // IEEE Trans. on Neural Networks. - 1993. - Vol. 3. -P. 807-814.
12. Cios, K. J. Neuro-fuzzy algorithms / K. J. Cios, W. Pedrycz // Oxford : IOP Publishing Ltd and Oxford University Press. -Handbook of Neural Computation, 1997. - D1. 3:1 - D1. 3:7.
13. Takagi, T. Fuzzy identification of systems and its applications to modeling and control / Takagi T., Sugeno M. // IEEE Trans. on Systems, Man, and Cybernetics. - 1985. - Vol. 15. -P. 116-132.
14. Wang, L.-X. Adaptive Fuzzy Systems and Control. Design and Stability Analysis / L.-X. Wang // Upper Saddle, N. J. : Prentice Hall, 1994. - 256 p.
15. Bodyanskiy, Ye. Generalized regression neuro-fuzzy network / Ye. Bodyanskiy, N. Teslenko. - Proc. ХШ-th Int. Conf. «Information Reaserch & Application», i. TECH 2007. -V. 1. - Varna, 2007. - P. 219-225.
16. Bodyanskiy, Ye. Nonliner process identification and modeling using general regression neuro-fuzzy network / Bodyanskiy Ye., Otto P., Pliss I, Teslenko N. // Proc. 52 nd Int. Sci. Coll. «Computer Science Meets Automation.» - TU Ilmenau (Thuer.) - 2007. - P. 23-27.
17. Bodyanskiy, Ye. General regression neuro-fuzzy network for identification of nonstationary plants / Ye. Bodyanskiy, N. Teslenko // Int. J. Informaion Technologies and Knowledge, 2008. - Vol. 2, № 2 - P. 136-142.
18. Bishop, C. M. Neural Networks for Pattern Recognition / C. M. Bishop // Oxford : Clarendon Press, 1995. - 482 p.
19. Vapnik, V N. The Nature of Statistical Learning Theory / V. N. Vapnik - N. Y. : Springer, 1995. - 188 p.
20. Vapnik, V. N. Statistical Learning Theory: Adaptive and Learning Systems / V. N. Vapnik - N. Y. : John Wiley & Sons, 1998. - 736 p.
21. Least Squares Support Vector Machines / [Suykens J.A.K., Gestel T.V., Brabanter J.D. and other]. - Singapore : World Scientific, 2002. - 294 p.
22. Lin, Ch.-F Fuzzy Support Vector Machines / Ch.-F. Lin, Sh.-D. Wang. - IEEE Trans. on Neural Networks. - 2002. -T. 13., № 2. - P. 646-471.
23. Tsujinishi, D. Fuzzy Least Squares Support Vector Machines for multiclass problems / D. Tsujinishi, S. Abe. - Neural Networks, 2003. - Vol. 16. - P. 785-792.
24. Hansen, L. K. Neural networks ensembles / L. K. Hansen, P. Salamon // IEEE Trans. on Pattern Analysis and Machine Intelligence. - 1990. - Vol. 12. - P. 993-1000.
25. Sharkey, A. J. C. On combining artificial neural nets / A. J. C. Sharkey // Connect. Sci. - 1996. - Vol. 8. - P. 299-313.
26. Hashem, S. Optimal linear combination of neural networks /
S. Hashem // Neural Networks.- 1997. - Vol. 10. - P. 599-614.
27. Naftaly, U. Optimal ensemble averaging of neural networks / U. Naftaly, N. Intrator, D. Horn // Network : Comput. Neural Syst. - 1997. - Vol. 8. - P. 283-296.
28. Бодянський Є. В. Адаптивне виявлення розладнань в об’єктах керування за допомогою штучних нейронних мереж / Є. В. Бодянський, О. І. Михальов , І. П. Плісс. - Дніпропетровськ : Системні технології, 2000. - 140 c.
29. Поляк, Б. Т. Введение в оптимизацию / Б. Т. Поляк. - М. : Мир, 1984. - 541 с.
30. Бодянский, Е. В. Адаптивное обобщенное прогнозирование многомерных случайных последовательностей /
Е. В. Бодянский , И. П. Плисс, Т. В. Соловьева. - Доклады АН УССР. - 1989. - А. - № 9. - С. 73-75.
Стаття надійшла до редакції 20.02.2012.
Дейнеко А. А., Плисс И. П., Бодянский Е. В.
КОМБИНИРОВАННОЕ ОБУЧЕНИЕ ЭВОЛЮЦИОННОЙ НЕЙРО-ФАЗЗИ СИСТЕМЫ
Предложена архитектура эволюционной нейро-фаззи системы, которая не склонна к проклятию размерности, способна обрабатывать информацию в режиме реального времени, адаптируя при этом свои параметры и структуру к условиям задачи. В качестве активационных функций были использованы ядерные функции активации.
Ключевые слова: эволюционная нейро-фаззи система, нормализованная радиально-базисная нейронная сеть, обобщенная регрессионная нейро-фаззи сеть, нечеткая машина опорных векторов, ядерная функция активации.
Deineko A. A., Pliss I. P., Bodyanskiy Ye.
EVOLVING NEURO-FUZZY SYSTEM COMBINED LEARNING
In this work the evolving neuro-fuzzy system with kernel activation function that contains fuzzy support vector machine, normalized radial basis function neural network and general regression neuro-fuzzy network as subsystems is proposed. This network is tuned using both optimization and memory based approaches and does not inclined to the «curse of dimensionality», is able to real time mode information processing by adapting its parameters and structure to problem conditions.
Key words: evolving neuro-fuzzy system, normalized radialbasis function neural network, general regression neuro-fuzzy network, fuzzy support vector machine, kernel activation function.
UDC 519.832.4
Romanuke V. V.
Candidate of Technical Science, docent of Khmelnytskyy National University
OPTIMAL STRATEGIES CONTINUUM FOR PROJECTING THE FOUR-MOUNT CONSTRUCTION UNDER INTERVAL UNCERTAINTIES WITH INCORRECTLY PRE-EVALUATED TWO LEFT AND ONE RIGHT ENDPOINTS
There is investigated a two-person game model of optimizing cross-section squares of the four-mount construction, where the model kernel is defined on the six-dimensional hyperparallelepiped as the product of three closed intervals of unit-normed loads and of three closed intervals of unit-normed cross-section squares. For the case of incorrectly pre-evaluated two left and one right endpoints of those interval uncertainties there has been proved that the projector may obtain an optimal strategies continuum. A criterion for singularizing that continuum has been proposed.
Key words: optimizing cross-section squares, two-person game model, four-mount construction, incorrect pre-evaluation.
INVESTIGATIONAREA elements [1, 2]. If the potential load on the construction
with four mounts is unit-normed, then the unit-normed load
There are many un^rtam factors m taMmg m^rt on the /-th mount is enclosed within the closed interval
constructions, one of which is interval-valued potential load ___
on the construction pivots, pillars, bars or other mount [a/; \ c (0; 1) by bi > a for ‘ =1, 3 [3, 4]. The nonzero
© Romanuke V. V., 2012
