CC BY
54
УДК 004.032.26
Тищенко О. К.1, Плюс I. П.2, Шкуро К. О.3
1Канд. техн. наук, старший науковий спвробтник Проблемно! НДЛ АСУ, Харквський нацональний ун1верситет раб1оелектрон1ки, УкраГна 2Канд. техн. наук, старший науковий сп1вроб1тник, пров1дний науковий спвробтник Проблемно'!' НДЛ АСУ,
Харквський нацональний ун1верситет рад1оелектрон1ки, УкраГна 3Канд. техн. наук, науковий спвробтник Проблемно'!' НДЛ АСУ, Харювський нацональний ун1верситет рад1оелектрон1ки, УкраГна
ПРОГНОЗУЮЧА НЕЙРО-ФАЗЗ1 МЕРЕЖА НА ОСНОВ1 БАГАТОВИМ1РНОГО НЕО-ФАЗЗ1-НЕЙРОНА _ТА II ПРОЦЕДУРА НАВЧАННЯ_
У статт запропоновано прогнозуючу нейро-фаззi мережу, що призначена для виршення задач екстраполяцй багатовимiрних нестацюнарних стохастичних та хаотичних часових рядiв за умов коротко! навчально! вибiрки. В основi мережi полягае багатовимiрний нео-фаззi-нейрон iз спецiально оргашзованим вхiдним шаром та сплайн-функцiями належность Введена система забезпечуе високу ямсть апроксимацп у сенсi середньоквадратично! похибки та високу швидюсть збiжностi за рахунок використання процедури навчання другого порядку. Розроблено програмне забезпечення, що реаизуе запропоновану архiтектуру нейро-фаззi мережь Проведено ряд експериментiв з дослщження властивостей запропоновано! мережi. Результати експерименив пiдтвердили придатнiсть запропоновано! архiтектури до розв'язання задач Data Mining та бшьш високу точнють у порiвняннi з традицiйними прогнозуючими нейро-фаззi системами.
Ключовi слова: обчислювальний штелект, багатовимiрний нео-фаззьнейрон, процедура навчання, прогнозування часових рядiв, функцiя належностi.
xi (k) - i -та компонента вектора вихвдних значень (прогноз1в);
z— - елемент чистого затзнювання; a - параметр забування;
|а1г] - l -та функщя належносп i -го входу системи; V-ij - функщя належносп i -го спостереження до j -го центровду;
k) - вектор функцш надежности; ст - параметр системи Лоренца. ВСТУП
Задача оброблення багатовим1рних часових ряда до-сить часто виникае у багатьох техшчних, медико-бюло-пчних, сощально-економ1чних дослвдженнях, де ввд якосп отримуваних ршень ютотно залежить точтсть синтезо-ваних результапв. Треба ввдзначити, що у багатьох ре-альних завданнях часов1 ряди характеризуються високим р1внем нелшшносп (можливо навпъ хаотичносп) та не-стацюнарносп сво!х параметр1в, наявнютю нерегуляр-них тренда, стрибк1в та аномальних викида. Зрозумвдо, що традицшш методи анал1зу часових послвдовностей, що базуються на регресшному, кореляцшному, спектральному та 1нших под1бних подходах, що мають на уваз1 апрюрну наявнють достатньо! виб1рки спостережень, виявляються неефективними. Альтернативою традицш-ним статистичним методам може слугувати математич-ний апарат обчислювального штелекту й, перш за все, штучш нейронш мереж та нейро-фазз1 системи завдяки сво!м ушверсальним апроксимуючим властивостям. Разом з тим з апроксимуючих властивостей зовам не
© Тищенко О. К., Плюс I. П., Шкуро К. О., 2014 120 DOI 10.15588/1607-3274-2014-2-17
НОМЕНКЛАТУРА
МЫ - багатовимiрний нео-фаззьнейрон; МШ - багатовишрний нео-фаззьсинапс; а - стан системи Лоренца; ¿1 - похвдна ввд а; Ь - параметр системи Лоренца; ci - вектор центрощв функцiй належностi г -го спостереження;
С ] - у-та компонента вектора с; И - юльюсть функцiй належностi в нелшшному си-напсi;
т - юльюсть виходiв системи; п - юлькють входа системи; N - загальна юлькють спостережень у вибiрцi; р - коварiацiйна матриця; г - параметр системи Лоренца; г - стан системи Лоренца; г - похвдна вiд г; и - стан системи Лоренца; и - похвдна ввд и; Ж - матриця синаптичних ваг; wmhn - синаптична вага п-го входу системи И -о! функцп належносп т -го нейрона;
Гг] ,
Wу - I -та синаптична вага г -го входу системи для ] -го центровду;
х (к) - вектор вхвдних значень;
х (к) - вектор вихвдних значень (прогнозiв);
хг (к) - г -а компонента вектора вхвдних значень;
випливають екстраполююч!, оскшьки урахування давньо! передкторп для побудови, наприклад, прогнозувально! модел1 може попршити як1сть прогнозу У зв'язку з цим, обробляючи !стотно нестащонарт процеси, треба ввдмо-витись в1д процедур навчання, заснованих на зворотно-му поширент похибок або метод! найменших квадралв, щоб скористатися процедурами, що грунтуються на ло-кальних критер!ях та «коротай» пам'яп на зразок алгоритму Качмажа-Ущроу-Хоффа. При цьому застосоваш методи навчання мають забезпечувати не тшьки високу швидкодш, але й фшьтрувальш властивост! для приду-шення стохастично! «шумово!» компоненти в оброблю-ваному сигнала У зв'язку з цим синтез спещал1зованих пбридних систем обчислювального штелекту, що при-значаються для розв'язання задач обробки ютотно не-стац1онарних багатовим1рних часових ряд1в за умов не-визначеносп та забезпечують разом з високою швидш-стю навчання фшьтрацш завад, е досить щкавою та перспективною задачею.
Незважаючи на велику к1льк1сть наукових роб!т з ще! тематики [1-3], все ще юнуе задача обробки багатовишр-них часових рядв, викликана потребою у покращент якост1 отриманих результапв та збшьшент швидкосп оброблен-ня даних. У зв' язку з цим актуальною е задача розробки метод1в анал1зу багатовим1рних часових ряд1в на основ! нейро-фазз! мереж для послщовного оброблення не-лшшних багатовишрних часових ряда, що здатт функщ-онувати за умов дефщиту апрюрно! шформаци та забезпечують можлив1сть обробки цих ряд1в !з короткою на-вчальною виб1ркою, а також характеризуються щдвищеною швидк1стю навчання. Зпдно з уам сказаним вище, робота е актуальною, що i визначае перспективтсть отримання як теоретичних, так i практичних результапв.
1 ПОСТАНОВКА ЗАДАЧ1
Нехай задано багатовишрний нелшшний нестац1онар-ний стохастичний часовий ряд, який можна записати у
вигляд1 вектора x (k) = (Х1 (k), ..., xn (k)) - вхвдт дат для запропоновано! обчислювально! системи.
Тод1 задача дослщження полягае в online прогнозу-вант багатовишрних нетншних нестацюнарних стохас-тичних або хаотичних часових ряд1в за умов невизначе-носп та коротко! навчально! виб1рки на основ! введено! нейро-фазз! мереж1, в основ! яко! полягае багатовим1р-ний нео-фаззьнейрон та адаптивний метод його навчання, що забезпечують високу яшсть апроксимацп та екст-раполяци, а також тдвищену швидк1сть зб1жносп за ра-хунок функцш належносп спещального вигляду та використання швидкодшчого алгоритму навчання.
Результатом роботи запропоновано! нейро-фазз! мереж! е вектор прогноз!в
Х(k +1) = = ((k +1),Х2 (k +1),...,Хт (k + 1))T .
У якосп цшьово! функц!!' может бути використана
1 N
середньоквадратична похибка E = — ^ (x (k)- Х (k)),
N k=1
яку потр!бно мш!м!зувати.
2 ОГЛЯД Л1ТЕРАТУРИ
Методи, що широко використовуються зараз для обробки ютотно нестац!онарних багатовим!рних часових ряд!в, мають низку недол!к1в, а саме: рад!ально-базисна нейронна мережа схильна до «прокльону розм!рносп» [1-3], а адаптивна нейро-фазз! система неч!ткого виве-дення [4] мае гром!здку архитектуру та досить пов!льно навчаеться за рахунок використання алгоритму зворот-ного поширення похибок. А це веде до збшьшення к!лькост! нейрон!в i юлькоси неч!тких правил у баз! знань, зв!дки випливае необхвдтсть зб!льшення обсягу навчально! виб!рки для налаштування под!бно! системи. Як було зазначено вище, нейро-фазз! системи, що використову-ють для навчання алгоритм зворотного поширення по-хибок, характеризуються низькою швидюстю, що робить !х застосування при обробщ даних у посл!довному режим! не дуже вдалим [4-6]. Уникнути цих недол!к1в мож-на за рахунок використання г!бридних систем, що по-еднують як теор!ю штучних нейронних мереж, яка доз-воляе отримати ушверсальш апроксимувальн! властивост! i здатн!сть навчатися, так i теорш нечгтко! лог!ки, яка дае можлив!сть над!ляти систему л!нгвютич-ною !нтерпретовашстю [7-9].
В!дом! дослвдження арх!тектури нео-фаззьпредикто-ра [10] та арх!тектури на основ! багатовим!рного нео-фазз!-нейрона [11, 12], але слад в!дзначити !х декотру гром!здк1сть та не завжди високу швидшсть оброблення даних у режим! online.
У цш робот! запропоновано використовувати архь тектуру на основ! нео-фаззьнейрошв [13-16], що характеризуються високою швидшстю навчання за рахунок лшшно! залежност! виход!в ввд настоюваних ваг; обчис-лювальною простотою; здатшстю знаходження глобального мшмуму критер!я навчання у реальному час! та реал1защею л!нгв!стичних «if-then» правил.
3 МАТЕР1АЛИ ТА МЕТОДИ
На рис. 1 зображено архттектуру нейро-фазз! мереж!. На вхвд системи подаеться багатовим!рний сигнал
х(k) = (Х1 (k),...,хп (k))T. Слад зазначити, що елементи чистого зап!знювання використовуються для шару функцш належност!. Дал сигнал в!д них надходить до си-наптичних ваг знову через шар елеменпв чистого за-тзнювання. Сумування отриманих сигнал!в ввдбуваеть-ся досить незвичним чином (рис. 1).
Традицшш нео-фазз!-нейрони були запропоноваш T. Ямакавою та його колегами [13-16]. Вони е нейронни-ми моделями з нелЫйними синапсами. Вихвд нел!н!йно-го синапсу нейрона формуеться шляхом сумування ви-х!дних сигнал!в синапс!в, яш представлен! нел!н!йними функщями. Вони можуть апроксимувати нелшшне ввдоб-раження «вхвд-вихвд» одним нейроном.
Рисунок 1 - Архтектура запропоновано'1 прогнозуючо! нейро-фаззi мережi
Автори нео-фаззьнейрона використовували традицшш трикутш консгрукцп, що ввдповвдають умовам розбиття Русшш у якосп функцш належносп:
hj (x, ) =
x,- - с,
i, j-1
cij ci, j-1 ci, j+1 - xi
якщо x,
якщо x,
- с,,
' \_Ci, j-1, C'j ]; ;[Cj, ci, j+1] ;
4, j+1' -Ij 0, у протилежному випадку.
де Су обрат досить випадково (зазвичай рiвно розпода-ленi) параметри центрiв функцш належносп на iнтервалi [0,1], де 0 < хг < 1. Такий вибiр функцш належносп га-рантуе, що вхвдний сигнал хг активуе тiльки двi сусiднi функци, а !х сума буде завжди рiвною одинищ.
Зрозумшо, що так! конструкци, як полiномiальнi гар-монiчнi функци, вейвлети, ортогональш функци, тощо також можуть бути використаш в якосп функцш належносп в нелишних синапсах.
Ввдзначимо, що трикутн функци належносп забезпе-чують кусково-лшйну апроксимащю, яка призводить до попршення точносп результапв. З метою тшшзацд цьо-го ефекту можна збвдьшити к1льк1сть синаптичних ваг таким чином, значно ускладнити архитектуру ! алгоритм
навчання. Куб1чт сплайни можна використати як функци належносп, аби позбутися вищезазначених проблем:
hij (x,- )
0,25
2 + 3-
2x, - Cj - с,
Lij- Ч j-1
'i Cij Ci',j-1 I 2xi Cij Ci,j-1
Lij- 4 j-1
0,25
- , 2xi - 4j+1 - Cij I 2xi - Ci, j+1 - Cij ,
2-3 C C j +1 C C ' I ,I,с
Ci,j+1- Cij У Ci,j+1- Cij J J
0, у протилежному випадку.
3 >
4 j-1, Cij
Таи куб1чш сплайни також задовольняють умовам розбиття Русшш та покращують характеристики апрок-симаци процесу неч1ткого висновування. З шшого боку, використання куб1чних сплайшв забезпечуе гладку пол-шом1альну апроксимащю та дозволяе моделювати не-стацюнарт сигнали з високою точшстю результапв.
Арх1тектура типового нео-фаззьнейрона в якосп скла-дово1 частини багатовим1рного нейрона обчислюваль-но1 системи е надлишковою, бо вектор вхвдних сигнал1в x ( к ) подаеться до однотипних нелш1йних синапав нео-фаззьнейрошв, кожен нейрон яких генеруе на виход1 сигнал xd (к), d = 1,2,..., m. У результат компоненти вектору виходав x (к) = ( JC1 (к), ¿2 (к),..., xm (к))T обчислю-ються незалежно. Цю надлишковють системи можна об1йти, використовуючи багатовим1рний нео-фаззьней-рон [11, 12], архитектура якого е модиф1кащею системи, запропоновано1 у [10]. Структурними елементами тако1 обчислювально1 системи е складен нелшшш синапси MNS,, при чому кожен синапс мютить h функцш на-
лежносп та тИ настроюваних синаптичних ваг wj].
Хоча багатовим!рний нео-фаззьнейрон мае тИп синаптичних ваг, але твдьки Ип функцш належносп, що в т раз!в менше, шж якщо система була б сформована з тра-дицшних нео-фаззьнейрошв.
Запропонована нейро-фазз! система складаеться з багатовим!рних нео-фаззьсинапав. Вводячи до розгля-ду (Ип х 1) вектор функцш належност
к) = (И1 (х1 (к)), ^21 (х1 (к)), - , ^И1 (х1 (к)), , ...,(хг (к))цип (хп (к))) та (тхИп)-матрицю
[i]
синаптичних ваг
(
W =
w111 w112
"211
v212
w1l, w2l,
wmli
w1hn w2hn
У wm11 wm12 "" wmli wmhn J
вих1дний сигнал MNj у к-й момент часу можна записа-ти у виглящ
x ( к ) = W ц (к ).
Навчання багатовим!рного нео-фаззьнейрона може бути реал!зовано за допомогою матрично! модифжацп експоненцшно-зваженого рекурентного методу наймен-ших квадрапв у форм! [17-21]:
W (k +1) = W (k )
(x(k +1) - W (k) ц(к +1)) ((k +1)) P (k)
a + ((k +1)) P (k)|j.(k +1)
P (k +1) = -
P (k )-
P (k)n(k + 1)((k + 1))p(k) a + ((k + 1))p (k )^(k +1)
Л
,0 < a < 1,
де x (k +1) = (( (k +1), x2 (k +1), 4 ЕКСПЕРИМЕНТИ
-(k +1))
Аби продемонструвати ефектившсть запропоновано! нейро-фазз! мереж1 та ïï процедури навчання, у якосп тестово1 виб1рки було обрано багатовим!рний ряд на основ! диференщйних р1внянь модел1 Лоренца:
a = a(u -a ), ù = а (r -t) - u, t = au - bt.
(1)
Диференцшне р1вняння (1) можна записати у дискретному чай в рекурентнш форм1:
a (k +1) = a (k) + a (u (k) - а (k ))dt, u (k +1) = u (k) + (ra (k)- a (k)t (k)- u (k))dt, (2) t (k +1) = t (k ) + (a (k )u (k )-bt (k ))dt,
де a = 10, r = 28, b =
, dt = 0,001.
Атрактор Лоренца e фрактально! структурою, що вщповщае довгостроковш поведшщ генератора Лоренца. Сам генератор e тривимрною динам1чною системою, що демонструе хаотичний попк даних, а також вщомий своею лемшскатною формою. На рис. 2 можна побачи-ти, як розвиваеться стан динам1чно! системи (три зм1нш тривим1рно! системи) з часом.
Виб1рка даних, що отримана за допомогою формули (2), м1стила 10000 спостережень, серед яких 7000 спосте-режень - навчальна виб1рка, 3000 - перев1рочна. Синап-тичш ваги шщ!ал!зовувалися як нул1, також можна було це робити випадковим чином. На рис. 2 на осях розташо-ваш значення параметр1в системи Лоренца.
5 РЕЗУЛЬТАТИ
Результати експерименпв з дослщження р1зних ме-тод1в прогнозування хаотичного часового ряду Лоренца наведено в таблиц 1.
6 ОБГОВОРЕННЯ
Як можна побачити !з таблиц 1, запропонована нейро-фазз! мережа та процедура ïï навчання досить непогано показали себе при розв'язанш тестовоï задача Стад ввдзначити меншу кшьшсть настоюваних параметр1в (у твтора рази у пор1внянш з архитектурою на основ! бага-товим1рних нео-фаззьнейротв та бшьше, шж у два рази, якщо пор1внювати з адаптивним нео-фаззьпредиктором). Слад також вщзначити найменший час серед уах систем, але час не суттево вщизняеться ввд часу, продемонстро-ваного арх1тектурою на основ! багатовишрних нео-фаззь нейротв. Якщо ж говорити про як1сть прогноз1в, то запропонована мережа продемонструвала найкращ! результати серед нейро-фазз! мереж (перевага над конкурентами склала у випадку з адаптивним нео-фаззьпредиктором 27% та 56% у випадку з другою архттектурою).
Таким чином, результати пор1вняльного анал1зу показали, що запропонована архитектура нейро-фазз! мереж! за яшстю прогноз1в не поступаеться шшим в1до-мим нейро-фазз! методам, а за шльшстю настоюваних параметр1в навиъ переважае 1х. Запропонована процедура навчання дозволяе систем! швидше налаштовувати параметри у пор!внянн! з аналогами.
ВИСНОВКИ
У робот! розв'язано актуальну задачу прогнозування багатовим!рних нелшшних нестац!онарних стохастичних часових ряд!в.
' <■. /ЙГ
Рисунок 2 - Хаотичний часовий ряд Таблиця 1 - Результати експерименив
Нейро-фазз1 мережа Юльюсть настроюваних параметр1в Час навчання Помилка навчання Помилка тестування
Адаптивний нео-фаззьпредиктор 60 6,2 с 0,0189 0,0231
Архитектура на основ1 багатовим1рних нео-фаззьнейрошв 45 4,1 с 0,0154 0,0171
Запропонована нейро-фазз1 мережа 27 3,9 с 0,0121 0,0132
Наукова новизна роботи полягае у тому, що запропоновано прогнозуючу нейро-фазз1 мережу на основ1 бага-товим1рних нео-фаззьнейрошв та введено процедуру навчання для оброблення багатовишрних даних у режим online. У якосп функцш належносп використовуються куб1чш сплайни, що забезпечують високу точтсть апрок-симаци та екстраполяцй' у пор1внянш з ввдомими нейро-фазз1 системами прогнозування. Введена система може бути використана для прогнозування суттево нестацюнар-них часових рядав за умов королта навчально1 виб1рки.
Практична щннють отриманих результапв полягае в тому, що цю мережу можна використовувати при розв'язант широкого кола задач Data Mining та, перш за все, прогнозування.
Перспективи подальших дослвджень полягають у тому, щоб застосувати деяк1 шш1 функцй' належносп та проте-стувати шш1 типи вузл1в для нейро-фазз1 мереж1. ПОДЯКИ
Роботу виконано в рамках держбюджетно1 науково-досл1дно1 теми Харк1вського нащонального ушверсите-ту радюелектрошки «Пбридт системи обчислювально-го 1нтелекту для адаптивно1 обробки викривлених даних за умов апрюрно1 та поточно1 невизначеносп» (номер державно1 реестрацй' 0113U000361). СПИСОК Л1ТЕРАТУРИ
1. Cichocki A. Neural Networks for Optimization and Signal Processing / A. Cichocki, R. Unbehauen. - Stuttgart : Teubner, 1993. - 526 p.
2. Haykin S. Neural Networks. A Comprehensive Foundation / S. Haykin. - Upper Saddle River: Prentice Hall, 1999. - 842 p.
3. Schalkoff R. J. Artificial Neural Networks / R. J. Schalkoff. -
4.
5.
6.
7.
8. 9.
10. Бодянский Е. В. Адаптивный фильтр-предиктор многомерных существенно нестационарных временных рядов / Е. В. Бодянский, О. А. Романюк, О. С. Удовенко // Системи обробки шформаци. - Харюв, 2009. - Вип. 4 (78). - С. 23-28.
11. Бодянський С. Прогнозування багатовимiрних нестацюнар-них часових рядiв на осн^ адаптивно!' нео-фаззi-моделi / С. Бодянський, О. Тищенко, Д. Копалiанi // Вюник НУ «Львiвська полгтехшка» «Комп'ютерш науки та шформацшш технолог«». - 2012. - № 744. - С. 312-118.
12. Bodyanskiy Ye. A multivariate non-stationary time series predictor based on an adaptive neuro-fuzzy approach / Ye. Bodyanskiy, O. Tyshchenko, W. Wojcik // Elektronika - konstrukcje, technologie, zastosowania. - 2013. - № 8. - P. 10-13.
13. Yamakawa T. A neo-fuzzy neuron and its application to system identification and prediction of the system behavior / T. Yamakawa, E. Uchino, J. Miki, H. Kusanagi // IIZUKA-92: 2-nd International Conference on Fuzzy Logic and Neural Networks: proceedings. - Iizuka, Japan, 1992. - P. 477-483.
14. Uchino E. Soft computing based signal prediction, restoration and filtering / E. Uchino, T. Yamakawa // Intelligent Hybrid Systems: Fuzzy Logic, Neural Networks and Genetic Algoritms / ed. : Da Ruan. - Boston : Kluwer Academic Publishers, 1997. -P. 331-349.
15. Miki J. Analog implementation of neo-fuzzy neuron and its onboard learning / J. Miki, T. Yamakawa // Computational Intelligence and Applications / ed.: N.E. Mastorakis. - Piraeus : WSES Press, 1999. - P. 144-149.
16. Takagi T. Fuzzy identification of systems and its application to modeling and control / T. Takagi, M. Sugeno // IEEE Transactions on System, Man and Cybernetics. - 1985. - 15. - P. 116-132.
17. Bodyanskiy Ye. An adaptive learning algorithm for a neuro-fuzzy network / Ye. Bodyanskiy, V Kolodyazhniy, A. Stephan // Computational Intelligence : Theory and Applications / ed.: B. Reusch. -Berlin-Heidelberg-New-York : Springer, 2001. - P. 68-75.
18. Otto P. A new learning algorithm for a forecasting neuro-fuzzy network / P. Otto, Ye. Bodyanskiy, V. Kolodyazhniy // Integrated
N. Y. : The McGraw-Hill Comp., 1997. - 528 p. Jang J.-S. Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intalligence / J.-S. Jang, C.-T. Sun, E. Mizutani. - Upper Saddle River : Prentice Hall, 1997. - 640 p.
Osowski S. Sieci neuronowe do przetwarzania informacij / S. Osowski. - Warszawa : Oficijna Wydawnicza Politechniki Warszawskiej, 2006. - 422 p.
Du K.-L. Neural Networks and Statistical Learning / K.-L. Du, M. N. S. Swamy. - London : Springer-Verlag, 2014. - 815 p. Rutkowski L. Computational Intelligence. Methods and Techniques / L. Rutkowski. - Berlin : Springer-Verlag, 2008. - 514 p. Mumford C. L. Computational Intelligence / C. L. Mumford, L. C. Jain. - Berlin : Springer-Verlag, 2009. - 725 p. Kruse R. Computational Intelligence. A Methodological Introduction / [R. Kruse, C. Borgelt, F. Klawonn et al]. - Berlin : Springer-Verlag, 2013. - 488 p.
Computer-Aided Engineering. - 2003. - 10. - № 4. - P. 399-409.
19. Bodyanskiy Ye. Adaptive nonlinear control using neo-fuzzy model / Ye. Bodyanskiy, V. Kolodyazhniy // Sinergies Between Information Processing and Automation / eds.: O. Sawodny, P. Sharff. - Aachen : Shaker Verlag, 2004. - P. 122-127.
20. Bodyanskiy Ye. A self-training robust neo-fuzzy controller with constraints on control actions / Ye. Bodyanskiy, I. Kokshenev, V. Kolodyazhniy, P. Otto // IWK-2005: 50 Internationales Wissenschaftliches Kolloquium: Tagungsband. - TU Ilmenau, 2005. - P. 125-126.
21. An adaptive learning algorithm for a neo-fuzzy neuron / [Ye. Bodyanskiy, I. Kokshenev, V. Kolodyazhniy, P. Otto] // EUSFLAT-2003: 3rd International Conference of European Union Society for Fuzzy Logic and Technology: proceedings. -Zittau, Germany, 2003. - P. 375-379.
OraTra Haginmjia go pega^i! 07.11.2014.
nicjia gopoÖKH 11.11.2014.
Тищенко А. К.1, Плисс И. П.2, Шкуро К. А.3
1Канд. техн. наук, старший научный сотрудник Проблемной НИЛ АСУ, Харьковский национальный университет радиоэлектроники, Украина
2Канд. техн. наук, старший научный сотрудник, ведущий научный сотрудник Проблемной НИЛ АСУ, Харьковский национальный университет радиоэлектроники, Украина
3Канд. техн. наук, научный сотрудник Проблемной НИЛ АСУ, Харьковский национальный университет радиоэлектроники, Украина
ПРОГНОЗИРУЮЩАЯ НЕЙРО-ФАЗЗИ СЕТЬ НА ОСНОВЕ МНОГОМЕРНОГО НЕО-ФАЗЗИ-НЕЙРОНА И ЕЕ ПРОЦЕДУРА ОБУЧЕНИЯ
В статье предложена прогнозирующая нейро-фаззи сеть, предназначенная для решения задач экстраполяции многомерных нелинейных нестационарных стохастических и хаотических временных рядов в условиях короткой обучающей выборки. В основе
сети лежит многомерный нео-фаззи-нейрон с организованным специальным образом входным слоем и сплайн-функциями принадлежности. Введенная система обеспечивает высокое качество аппроксимации в смысле среднеквадратичной ошибки и высокую скорость сходимости за счет использования процедуры обучения второго порядка. Разработано программное обеспечение, реализующее предложенную архитектуру нейро-фаззи сети. Проведен ряд экспериментов по исследованию свойств предложенной сети. Результаты экспериментов подтвердили применимость предложенной архитектуры при решении задач Data Mining и более высокую точность по сравнению с традиционными прогнозирующими нейро-фаззи системами.
Ключевые слова: вычислительный интеллект, многомерный нео-фаззи-нейрон, процедура обучения, прогнозирование временных рядов, функция принадлежности.
Tyshchenko O. K.1, Pliss I. P.2, Shkuro K. O.3
1Ph.D., Senior Researcher at Control Systems Research Laboratory, Kharkiv National University of Radio Electronics, Ukraine
2Ph.D., Senior Researcher, Leading Researcher at Control Systems Research Laboratory, Kharkiv National University of Radio Electronics, Ukraine
3Ph.D., Researcher at Control Systems Research Laboratory, Kharkiv National University of Radio Electronics, Ukraine
A FORECASTING NEURO-FUZZY NETWORK BASED ONA MULTIDIMENSIONAL NEO-FUZZY NEURON AND ITS LEARNING PROCEDURE
A forecasting neuro-fuzzy network designated for solving extrapolation tasks of multidimensional nonlinear non-stationary stochastic and chaotic time series under conditions of a short learning sample is proposed in the paper. The network is built with the help of a multidimensional neo-fuzzy neuron with an input layer which is organized in a special manner and a spline membership function. The proposed system provides high approximation quality in terms of a mean square error and high convergence speed on account of using the second-order learning procedure. A software that implements the proposed neuro-fuzzy network has been developed. A number of experiments has been held in order to research the system's properties. Experimental results prove the fact that the developed architecture could be used in Data Mining tasks and the fact that the proposed neuro-fuzzy network has higher accuracy compared to traditional forecasting neuro-fuzzy systems.
Keywords: computational intelligence, multidimensional neo-fuzzy neuron, learning procedure, time series prediction, membership function.
REFERENCES
1. Cichocki A., Unbehauen R. Neural Networks for Optimization and Signal Processing. Stuttgart, Teubner, 1993, 526 p.
2. Haykin S. Neural Networks. A Comprehensive Foundation. Upper Saddle River, Prentice Hall, 1999, 842 p.
3. Schalkoff R. J. Artificial Neural Networks. N.Y, The McGraw-Hill Comp., 1997, 528 p.
4. Jang J.-S., Sun C.-T., Mizutani E. Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intalligence. Upper Saddle River: Prentice Hall, 1997, 640 p.
5. Osowski S. Sieci neuronowe do przetwarzania informacij. Warszawa, Oficijna Wydawnicza Politechniki Warszawskiej, 2006, 422 p.
6. Du K.-L., Swamy M.N.S. Neural Networks and Statistical Learning. London, Springer-Verlag, 2014, 815 p.
7. Rutkowski L. Computational Intelligence. Methods and Techniques. Berlin, Springer-Verlag, 2008, 514 p.
8. Mumford C. L., Jain L. C. Computational Intelligence. Berlin, Springer-Verlag, 2009, 725 p.
9. Kruse R., Borgelt C., Klawonn F., Moewes C., Steinbrecher M., Held P. Computational Intelligence. A Methodological Introduction. Berlin, Springer-Verlag, 2013, 488 p.
10. Bodyanskiy Ye. V., Romanyuk O. A., Udovenko O. S. Adaptive filter-predictor for multidimensional non-stationary time series, Systemy obrobky informacii. Kharkiv, 2009, Vol. 4 (78). - P. 23-28.
11. Bodyanskiy Ye., Tyshchenko O., Kopaliani D. Multidimensional non-stationary time-series prediction with the help of an adaptive neo-fuzzy model, Bulletin of the National university «Lvivska politehnika», No. 744. Lviv, Lvivska politehnika Publishing, 2012, P. 312-320.
12. Bodyanskiy Ye., Tyshchenko O., Wojcik W. A multivariate non-stationary time series predictor based on an adaptive neuro-fuzzy approach, Elektronika - konstrukcje, technologie, zastosowania, 2013, No. 8, pp. 10-13.
13. Yamakawa T., Uchino E., Miki J., Kusanagi H. A neo-fuzzy neuron and its application to system identification and prediction of the system behavior, IIZUKA-92: 2-nd International Conference on Fuzzy Logic and Neural Networks: proceedings. Iizuka, Japan, 1992, pp. 477-483.
14. Uchino E., Yamakawa T. ed.: Da Ruan. Soft computing based signal prediction, restoration and filtering, Intelligent Hybrid Systems: Fuzzy Logic, Neural Networks and Genetic Algoritms. Boston, Kluwer Academic Publishers, 1997, pp. 331-349.
15. Miki J., Yamakawa T. ed.: N. E. Mastorakis Analog implementation of neo-fuzzy neuron and its on-board learning, Computational Intelligence and Applications. Piraeus, WSES Press, 1999, pp. 144-149.
16. Takagi T., Sugeno M. Fuzzy identification of systems and its application to modeling and control, IEEE Transactions on System, Man and, 1985, 15, pp. 116-132.
17. Bodyanskiy Ye., Kolodyazhniy V., Stephan A. ed.: Reusch B. An adaptive learning algorithm for a neuro-fuzzy network, Computational Intelligence: Theory and Applications. Berlin-Heidelberg-New-York, Springer, 2001, pp. 68-75.
18. Otto P., Bodyanskiy Ye., Kolodyazhniy V. A new learning algorithm for a forecasting neuro-fuzzy network, Integrated Computer-Aided Engineering, 2003, 10, No. 4, pp. 399-409.
19. Bodyanskiy Ye. Adaptive nonlinear control using neo-fuzzy model / Ye. Bodyanskiy, V. Kolodyazhniy // Sinergies Between Information Processing and Automation / eds.: O. Sawodny, P. Sharff. - Aachen: Shaker Verlag, 2004. - P. 122-127.
20. Bodyanskiy Ye., Kokshenev I., Kolodyazhniy V., Otto P. A self-training robust neo-fuzzy controller with constraints on control actions, IWK-2005: 50 Internationales Wissenschaftliches Kolloquium, Tagungsband, TU Ilmenau, 2005, pp. 125-126.
21. Bodyanskiy Ye., Kokshenev I., Kolodyazhniy V., Otto P. An adaptive learning algorithm for a neo-fuzzy neuron, EUSFLAT-2003: 3rd International Conference of European Union Society for Fuzzy Logic and Technology : proceedings. Zittau, Germany, 2003, pp. 375-379.
